初识深度学习

什么是深度学习？

人工智能的范围很大，应用也很多。机器学习就属于人工智能的一部分，而深度学习又属于机器学习的一部分。目前，使用的比较多的是深度学习。机器学习的流程：数据获取、特征工程、建立模型、评估与应用，其中特征工程是非常重要的，同时难度也是比较大的。机器学习的过程是通过人工的完成这些流程，而深度学习可以智能的自己去训练数据，提取数据的特征，选择模型等，且不需要人工，这就使得深度学习比机器学习更加的人工智能。

如何提取特征？

传统算法提取特征：计算特征的权重参数。而神经网络会对原始数据经过复杂的计算之后自动学习提取出能让计算机识别的特征。

深度学习的应用？

自然语言处理，也就是输入数据为文本。计算机视觉，也就是输入数据为图像，人脸识别的应用很多，比如拍照人脸特效什么的。深度学习还有一个缺点就是参数数据比较多，几百万几千万甚至上亿，导致数据处理速度太慢，所以有的时候在移动端使用深度学习，app数据处理速度是一个大问题。

计算机视觉

对于计算机而言，图像实际上就是一张矩阵表，一张图片用三维数组来表示，每个像素的数值从0~255之间，数值越低颜色越暗，数值越大颜色越亮，比如300*100*3，其中300和100分别为图片的宽度和高度，后面的3为颜色通道。计算机视觉面临的困难：部分遮蔽、背景混入、光线角度改变等等。

k近邻算法

机器学习的流程：收集数据并给出标签、训练一个分类器、测试评估。

上图当中，绿圆应该属于哪一类呢？可以根据K近邻算法来判断。首先算一下已知类别的数据点和当前绿圆的距离，选择距离较近的前K个点，看看在这K个点中，那种类别出现的概率高，则绿圆的类别与此相同。在上图中，K选择不同的值时，绿圆的类别就会不同。比如K=3和K=5。图像分类与上面的算法相似，根据计算图像之间的距离来确定图像属于哪一个类别，但是K近邻有一个最大的为问题，就是背景主导，确定不了主体部分，经常会把背景相同的图片划分在一起，所以在多数神经网络中吗，并不会使用K近邻来作为图像分类的算法。

神经网络基础

线性函数：每个特征对应不同的权重参数，最终得到某图片对应每个类别的得分。

w：权重参数  b：偏置参数  Xi为数据  w对结果起决定性作用，b对结果起微调作用。各自类别各自微调。计算方法如下：

权重参数中，正值表示对结果其促进作用，负值表示对结果其抑制作用。权重参数矩阵产生：优化，可以在刚开始的时候随机选择，在迭代过程当中不断地优化权重参数，这就是神经网络要做的事。很明显在上图中，由于权重参数不太好，使得本来是猫的图片被判定为狗。

损失函数

根据损失函数，对上面得到的结果给出评判，图像分类分的好不好，就可以从损失函数来看

1为容忍程度。如果图像分类正确，无损失，loss值为0。不同的权重参数也会出现loss损失相同的情况，有的权重参数表现好，但有的权重参数表现不好，所以为了弥补权重参数带来的损失，在损失函数中，加入正则化惩罚项。损失函数=数据损失+正则化惩罚项。

其中，正则化惩罚项前面的惩罚系数，系数越大，不希望过拟合，系数越小，起到的作用越小。

前向传播和反向传播

池化层

用来压缩来简化图像，在原来的图像上做一个筛选，只变长宽，不改变通道。例如原来为256*256*64进过压缩后变为128*128*64。MAX POOLING最大池化，只做筛选，筛选最大的值，并不进行计算。

特征图变化：

感受野

假设图片输入大小都是h*w*c，并且使用c个卷积核即得到c个特征图，那么一个7*7的卷积核所需要的参数为=c*7*7*c=49c方，而三个3*3的卷积核所需要的参数为3c*3*3*c=27c方，很明显，晓得堆积核所需要的参数更少一些，并且卷积过程越多，特征提取的越细致，加入的非线性变化也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成整体的特征提取操作。

经典网络：ResNet 残差网络、VGG

卷积神经网络CNN整体结构：输入层、卷积层、池化层、全连接层