神经网络基础-GRU和LSTM

在深度学习的路上，从头开始了解一下各项技术。本人是DL小白，连续记录我自己看的一些东西，大家可以互相交流。

本文参考：本文参考吴恩达老师的Coursera深度学习课程，很棒的课，推荐 

本文默认你已经大致了解深度学习的简单概念，如果需要更简单的例子，可以参考吴恩达老师的入门课程：

http://study.163.com/courses-search?keyword=%E5%90%B4%E6%81%A9%E8%BE%BE#/?ot=5

转载请注明出处，其他的随你便咯

一、前言

在之前的文章中，我们对RNN(循环神经网络)做了一个大致的介绍，同时也提到了在普通模型中，RNN只能根据之前的内容来预测y值，于是我们提出了LSTM单元和GRU单元这样的特殊RNN，来增加一个记忆模块，改善RNN系统效果。此处我们用了新的符号记法，用h<t>来代替上文的a<t>。

二、RNN中难以解决问题

上图是一个简单RNN的模型，我们假设这个RNN是在处理一个文本预测的工作，在较长的环境中，可能会损失很久之前的一些“记忆”，举个例子：

I grew up in