深度学习（二—— 卷积神经网络）

1.卷积神经网络

主要层结构：卷积层、池化层、全连接层。

神经元个数：一个卷积层的输出是20*20*32，则神经元的个数为：20*20*32=12800；

滤波器窗口大小：3*3, 输入的数据体深度10，则每个神经元有：3*3*10=900参数；

总的参数：12800*900=11520000个参数；

参数共享：32个滤波器，总共参数：32*900=28800。原因：特征在不同位置的表现是相同的。

卷积层的一些性质：

池化层：减少参数量，防止过拟合；（特征不变性）

实际证明，最大池化效果最好，平均池化一般放在卷积神经网络的最后一层。

（在进入全连接层之前，使用全局平均池化能够有效降低过拟合）

2.循环神经网络（Recurrent Neural Network）

主要结构：LSTM & GRU （Gated Recurrent Unit）(主要用于解决长时依赖问题)

LSTM (Long Short Term Memory Networks), 1997年提出。

结构：输入门、遗忘门、输出门。遗忘门能够自己学习保留多少以前的记忆，使得不再需要人为的干扰，网络可以自主学习。

GRU （Gated Recurrent Unit） 2014年提出，GRU将遗忘门和输入门合成了一个“更新门”