神经网络基础介绍

一：神经网络

学习率：控制更新步长

损失函数：衡量模型输出与真实的标签之间的差距

Drop:随机失活

二：卷积神经网络

1.卷积层：

图像识别特点：

特征具有局部性，特征可能出现在任何位置:卷积核每次仅连接K*K区域,K*K是卷积核尺寸

卷积核:具可学习参数的算子，用于对输入图像进行特征提取，输出通常称力特征图(feature
maps)

填充（padding）：在输入图像的周围添加额外的行/列

步幅(stride):卷积核滑动的行数和|列数称为步幅,控制输出特征图的大小,会被缩小1/s倍

多通道卷积：

分清楚二维卷积与三维卷积

2.池化层：特殊的卷积层

池化作用∶
1.缓解卷积层对位置的过度敏感
2.减少冗余
3.降低图像分辨率，从而减少参数量
 

3.Lenet-5

二:循环神经网络RNN

序列数据：序列数据是常见的数据类型,前后数据通常具有关联性
语言模型：

 

梯度随时间t呈指数变化，易引起梯度消失或者梯度爆炸

门控循环单元：