神经网络基础知识

1. DNN：深度神经网络

 

2. CNN：卷积神经网络 输入和输出相互独立的

 

3. RNN：循环神经网络 引入记忆的概念，输出依赖于输入和记忆。整个神经网络都共享一组参数（u，v，w)，极大减小了需要训练和预估的参数量。有多少个神经元就有多少个向量。

 

4. 双向RNN：有些情况下，当前的输出不止是依赖于之前的序列元素，还可能依赖之后的序列元素。

 

    4.1. 损失函数概念：因为学到的东西不一定和标准答案一样，所以我们会有一个损失函数，以便于在学习效果不是很好的时候，可以不断的改进。

 

5. 深层双向RNN：有时候学了一遍，可能没有学得特别好，我们会让它反复学，多学几遍。

 

 

6. 循环神经网络记忆容量有限，随着时间间隔的增大，RNN无法连接这么远的信息，这个时候出来了新的技术，LSTM，长短时记忆。

它的工作步骤是：第一步，LSTM会根据上个时刻的信息以及当前时刻的输入经过一个“忘记门”，就是决定旧知识哪些信息是要丢掉的。第二步，其次就是哪些新知识是需要保留的。第三步就可以进行更新了公式如下：

Ct = ft * Ct-1 +it * Ct

其中ft以及it都是一个概率向量，前一个式子代表旧的信息里选出一部分信息扔掉，后一个式子代表新的信息选出一部分保留，这样组成了新的记忆。这就是记忆的更新。

最后需要输出。也就是从当前的记忆中取挑选出来一些知识来解决我当前的问题。

 

7.GRU：将忘记门和输入们合成了单一的更新门。