cnn rnn 笔记

 1. cnn

• 卷积运算：对应位置相乘再相加求和，即为卷积值：

1 feature_map1(1,1) = 1*1 + 0*(-1) + 1*1 + 1*(-1) = 1
2 feature_map1(1,2) = 0*1 + 1*(-1) + 1*1 + 1*(-1) = -1
3 ```
4 feature_map1(3,3) = 1*1 + 0*(-1) + 1*1 + 0*(-1) = 2

• 卷积后尺寸：

feature_map尺寸计算公式：[ (原图片尺寸 -卷积核尺寸)/ 步长 ] + 1

（4 - 2）/1 +1

• Filter1是垂直卷积核，Filter2是水平卷积核。卷积核有很多种。

（会在越靠近输入层的卷积层设定少量的卷积核，越往后，卷积层设定的卷积核数目就越多）

• 池化层

通过降采样的方式，在不影响图片质量的情况下，压缩图片，减少参数。

池化方法一般有两种：

· MaxPooling：取滑动窗口里最大的值

· AveragePooling：取滑动窗口内所有值的平均值

• Zero Padding

为了保证每次经过卷积或池化输出后图片的大小不变？

• Flatten层用来把数据拍平

做完Max Pooling后，我们就会把这些数据“拍平”，丢到Flatten层，然后把Flatten层的output放到full connected Layer里，采用softmax对其进行分类

• 超参数：

零补充，核尺寸，步长，核数量

• 防止梯度消失或者梯度爆炸：

归一化，都往中间靠一靠。

• 梯度消失、爆炸的解决方案

预训练加微调。梯度剪切。

ReLu函数是怎么解决梯度消失问题的？（

-- 由于负数部分恒为0，会导致一些神经元无法激活（可通过设置小学习率部分解决） -- 输出不是以0为中心的

求导是1啊，怎么就非线性了？就是个滤波啊，效果为啥就好了？）

• 防止过拟合

2. LSTM

每个节点两个输入，两个输出。每层都有个_LSTM_O，前面27个是为了最后一个（28）输出做准备。