关于卷积，池化，前向传播，反向传播，全连接层，通道数的一些概念

写在前面：本文内容中关于通道数的内容参考自文章
图像的通道（channels）问题
反向传播的理解参考自
前向传播、反向传播——通俗易懂
激活函数的内容参考自
常用激活函数（激励函数）理解与总结
其他内容截取自B站视频
卷积层和池化层的理解
外加个人理解。仅作为本人笔记便于速览，如有侵权，联系立删。
正文：
人工神经网络中，单个神经元一般模型是这样的（M-P模型）
关于M-P模型可以看这篇文章M-P模型
从左到右分别是输入，输入权重，输入乘以输入权重求和，这里-1应该是偏置bias的一种取值，f(x)是激活函数，常用的有Sigmoid函数、tanh函数、Relu函数等，用来对经过权重求和后的输入进行非线性处理，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任意函数）。

BP神经网络的原理：前向传播计算误差，反向传播调整参数（反向传播：back propagation，这也是BP神经网络名字的由来）。
前向传播计算误差：
这很好理解。看下图：

输入层输入数据，将数据依次经过各个隐含层向前传播，最终到达输出层，在此得到对于这组数据的判断，打上label，并且将之与原来已经打好的label相比，得到此时神经网络模型的训练误差（监督学习）。如果设从左往右各层为ABCDE，那么前向传播的过程就是ABCDE。
反向传播调整参数：
当系统认为目前计算得到的标签与实际标签差距较大（误差较大，训练结果还不够好）时，就从离输出层最近的一层开始，逐层调整参数，E层先调整，E层调整完后D层再调整，按照EDCBA依次向后传播，直到所有层都发生一次调整，此时完成一次反向传播。
具体调整参数的方式：计算梯度，这里应该用到了最优化中的梯度下降法等方法。
过程：
1、利用前向传播求出误差E，
2、求出误差E对权重W的偏导数，
3、利用
更新权重W
4、继续反向传播，更新更接近输入层的权重W，直到更新所有的权重W，
5、循环1,2,3,4过程，不断更新权重W，降低误差E，最终得到训练好的神经网络（即适合的权重W）

举一个例子，看下图：

可见，选定了梯度下降法或者特定的最优化方法后，剩下的问题就是如何求得最后误差相对于网络每层中的各个参数的梯度了----链式求导法则
在更新完一遍参数后，带着更新了的参数继续调参，理想的情况是，神经网络的性能会越来越好，直到达到一个最优解（或者足够让人满意的解）。
BP神经网络的缺点：易陷入局部最优。

独热编码的一种表示方法（这个了解的还不多，放在这里，日后有空完善）

卷积层：拿到卷积核，从图像的左上角开始，一一对应相乘，最后求得的结果就是新的矩阵对应元素位置的数值。步长为1的话就一个格子一个格子的移动，如果步长大于1且移动的时候卷积核无法对齐的话就将边缘补零（暂时我是这么理解的）。

灰度图像的通道数channel为1.如果是RGB彩色图像那么它的通道数channel为3.除此之外还有2通道4通道数的，通道数是根据不同需求来的。具体可看图像的通道（channels）问题这篇文章。
卷积后图像特征所占的空间变小（所包含的数据量变小），那么计算量也会大大减小，这样会提高训练效率。
卷积：
1、拥有局部感知机制
2、权值共享

这个图中，原图像有RGB三个channel，每个channel对应不同的卷积核1，步长都为1的话，得到三个22输出特征矩阵，三个22矩阵相加得到右边的黄色矩阵。用卷积核2的话，会得到右边的紫色2*2输出特征矩阵。
这里有个小结论：
1、卷积核的channel个数（这里3个）与输入特征层的channel（3个）相同
2、输出的特征矩阵channel个数（2个，黄色，紫色）与卷积核个数（2个，卷积核1，2）相同

这里有个卷积后的矩阵尺寸计算公式，先把它放在这里，记得之前图像处理有这个比较详细的内容，回头把它放过来好好说一下。

池化层。
大概的意思就是框住一个区域，取该区域内的最大值、最小值或者平均数等（池化的方法很多）然后该区域由多个数变成了一个数。经过池化，原来的矩阵会大大减小。
目的：对特征图进行稀疏处理，减少数据运算量。