深度学习入门

一、 简介
核心：特征学习

来源于人类视觉：瞳孔摄入像素-初步处理（大脑皮层某些细胞发现边缘和方向）-抽象（大脑判定眼前物体的形状）-进一步抽象（判断这个物体是什么）
模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干层底层特征组成更上一层特征，最后通过多个层级的组合，在顶层做出分类。

最早的应用：手写字体识别（MINST），使用的是LeNet：最经典的卷积网络，由卷积层、池化层、全连接层组成。卷积层的操作是受局部感受野概念的启发，而池化层主要是为了降低数据维度。
综合来说，CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。

降低参数量级的作用：
传统机器学习，如果有10001000像素的一张图片，有1M隐藏层单元，那么参数共有10^12个，太多了。
而在CNN中，基于以下两个假设：1、最底层的特征都是局部性的，用1010这样的过滤器就能表示边缘等底层特征；2、图像上不同的小片段及特征是类似的，即能用同样的一组分类器来描述不同的图像。用100个10*10的小过滤器，就能够描述整幅图片上的底层特征。

二、 各层网络介绍
卷积：

卷积核就像一个滑动的窗口，与其对应的图像像素做乘积然后求和。卷积核（即过滤器）的值，在实际训练过程中，是在学习过程中学到的。

池化（下采样）：
一个2020的原始图片，如果采用1010的卷积核进行卷积，最后得到的图像仍然有1111这么大，因此我们对其进行下采样，得到一个22大小的特征图。
原理：即使减少了许多数据，特征的统计属性仍能够描述图像
作用：由于降低了数据维度，有效的避免了过拟合
方法：最大值下采样，平均值下采样

全连接层：

其中，x1x2x3为全连接层的输入，a1、a2、a3为输出。

所以需要a的个数*[x1.width*x1.height]*x的个数个权值参数w和3个偏置参数b。和输入相同大小的卷积核能将输入的特征全部提取出来。

举例：LeNet:

首先是卷积层C1:6个55的卷积核，形成2828的图像，然后下采样至1414，再进入一个有16个55卷积核的卷积层，形成16个10*10的图像。
这里S2与C3的连接并不是全连接，而是部分连接。

比如C3-0与S2-0,1,2连接，这样用不同特征的底层组合，可以得到进一步的高级特征。
最后通过全连接层C5、F6得到10个输出，对应10个数字的概率。

网络的参数如何选择，以及卷积核的数量确定都是需要好好学习的。

三、 训练过程
也是参照了反向传播算法。
第一阶段：向前传播
在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）。
第二阶段：向后传播阶段
1） 算实际输出与相应的理想输出的差；
2） 按极小化误差的方法反向传播调整权值矩阵。

参考链接：https://www.cnblogs.com/alexcai/p/5506806.html