【原创】深度学习学习笔记（四）-信息处理单元(神经元）

空间信息处理单元

CNN卷积神经网络，输入层、卷积层、池化层、全连接层

1. 卷积层

输入：特征图[h,w,d,n],h，w为图长宽，d为深度（通道数），n批量大小，k个尺寸为[a,a,d]的滤波器（卷积核）
卷积运算：加权求和，对应相乘，乘积之和作为中心像素新值。
输出尺寸：[h,w,d,n]

其中s为滑动步长，p为填充大小（0填充尺寸）
调整p来保证输出尺寸为整数
感受野（超参数），就是滤波的尺寸空间a

• 局部连接
• 权重共享（参数共享）

2. 池化层

通常在卷积层后面加一个池化层，是一种非线性下采样的一种形式
分最大池化，平均池化
通过减少网络参数来减少计算量
$$\left(\begin{array}{cccc}1& 0& 2& 3\\ 4& 6& 6& 8\\ 3& 1& 1& 0\\ 1& 2& 2& 4\end{array}\right)$$

最大池化结果：
$$\left(\begin{array}{cc}6& 8\\ 3& 4\end{array}\right)$$

平均池化结果：
$$\left(\begin{array}{cc}3& 5\\ 2& 2\end{array}\right)$$

时间信息处理单元

RNN循环神经网络

输出可以在下一时刻直接作用到自身，存在同层自连接
RNN可理解成某时刻输出是之前所有输入共同作用的结果，但实际上某时刻输入对后面时刻影响只能维持若干时刻

LSTM神经元

解决RNN时间上梯度消失问题