深度学习-【图像分类】学习笔记1卷积神经网络基础

1.1卷积神经网络基础

卷积神经网络

卷积神经网络（CNN, Convolutional Neural Network）的发展：

全连接层

卷积层

---

权值共享的特性：

---

看下面这张图可以看出一次卷积的原理。
有两个卷积核，就对应了输出特征矩阵的两个 channel ，而与输入特征矩阵的 channel 无关。
每个卷积核的channel 和 输入特征矩阵的 channel 相对应进行计算，输出特征矩阵的尺寸为 (w - f + 2p) / s + 1。
在这个例子中就是 (3 - 2 + 0) / 1 + 1 = 2。

1. 卷积核的channel与输入特征层的channel相同
2. 输出的特征矩阵channel与卷积核个数相同

激活函数：引入非线性因素，使其具备解决非线性问题的能力。
当加入偏置和激活函数计算时，直接对原始结果进行计算就好了。

N = (W - F + 2P) / S + 1
这里的P根据实际情况来。

池化层

最大池化：

平均池化：

1.2卷积神经网络基础补充（反向传播）

误差的计算

softmax：
所有输出节点概率和为1。

交叉熵损失 Cross Entropy Loss

误差的反向传播

对w11(2)

https://www.bilibili.com/video/BV1M7411M7D2

权重的更新

优化器

目的——为了使网络更快地收敛

1. SGD
   

2. SGD + Monmentum
   

3. Adagrad
   
   学习率下降的太快可能还没收敛就停止训练。

4. RMSProp
   

5. Adam