深度学习与计算机视觉三

监督学习，非监督学习，半监督学习和强化学习
监督学习的意思是用来训练网络的数据，我们已经知道其对应的输出，这个输出可以是一个类别标签，也可以是一个或者多个值，模型经过训练之后，遇到新的数据，可以预测对应的标签，已知标签的分类和回归问题都属于监督学习。非监督学习并不知道数据的变迁，而是根据数据本身的特征，从数据中根据某种度量学习出一些特征。

在这两种情况之下，还有比较常见的就是部分数据有标签，部分没有，把这两种数据都利用起来，称之为半监督学习，最后在大数据的趋势之下，越来越流行的一个概念叫做弱监督学习，就是用弱一些的标注来帮助训练一个更强条件下的算法。

强化学习

他是一个比较另类的分支，他的思想借鉴了很多动物和环境交互学习的行为，在这个学习本身就有一个状态，算法借助一个代理和环境的交互，交互的结果以奖惩的形式返回并作用于算法本身。

因为强化学习的行为都会对应一个奖惩，所以经常有人拿强化学习和监督学习进行比较，但是这两种类型的算法是有很大不同的。首先强化学习的目标就和监督学习的不一样，强化学习看中的是行为序列下的长期受益，而监督学习关注的是和标签或者已知输出的误差，强化学习是没有正确或者错误之分的，而监督学习标签是正确的。

深度卷积神经网络

1.参数共享
同变性的来源是卷积的另一种性质，也就是参数共享，意思就是卷积核在任何一个位置都是不变的，所以在卷积核所在的区域，所有像素和卷积核对应位置相乘求和的过程中，相当于就是和同一套权重相乘。
2.稀疏连接
变换矩阵是一个快循环矩阵，这种矩阵的一个性质就是稀疏性，除非卷积核和图像差不多大，否则这种矩阵中绝大多数元素都为0，这种稀疏性也是卷积神经网络相比一般神经网络的一个巨大优点。
3.多通道卷积
现在每一张图都称为一个通道，通道是一个非常基础的概念，比如彩色图像是红色，绿色，和蓝色分布代表了一副彩色图像中宏红，绿和蓝三种成分的值。
4.激活函数
他是和全连接层没有大的区别，就是给卷积结果做一个非线性变换，也就是直接把得到的特征相应图取了绝对值，这个操作就是一种非线性变换了，可以看做是一种激活函数。
5.池化，不变性和感受野
池化就是卷积神经网络和普通网络最不同的地方，这个概念本身并不是一个具体的操作，而是代表着一种对统计信息的提取，从自字面上看就是把东西放到一起的意思。在深度学习中，最常见的两种池化就是最大值池化和平均值池化。

池化层最直接的作用就是引入了不变性，比如最常用的最大值池化，就是取一片区域的最大值，所以这个最大值在该区域无论在哪，最大值池化之后都是他。
6.分布式表征
他不是卷积神经网络特有的性质，而是最重要的性质之一，这是一种多对多的描述关系，所以叫分布式。这种形式，恰好和神经网络是一样的，比如全连接网络，每层的输入都会对所有输出产生影响，而每个输出也会受到所有输入的影响，有着强大的表达能力。
7.分层表达
他主要的意思就是每一层（仿射变换和非线性变换），都把样本重新在一个新的空间内表示，这个表示可以再经过一层在另一个新的空间内表示，如果把每层中的一个维度都看作是分布式表征中的一个维度，就相当于数据再一层一层的传播中，都在不同层面的分布式特征下得到重新表示。

卷积神经网络结构

在分层的思想之下，把卷积层和池化层结构在一起，就是最常见的神经网络结构，但那个只是一个示意图，实际的卷积神经网络，微博会有这么分明的特征分层，但大致上特征的复杂程度也是一层一层变得更复杂，且特征构成都是基于前一层的。
以下就是介绍一些基本的结构。

1.LeNet——第一个卷积神经网络
他是卷积神经网路的鼻祖，在各大深度学习框架总自带的用作DEMO目的的LeNet结构，是简化改进版的LeNet-5,和原始的LeNet-5有一些微小的差别。
2.AlexNet——新起点
他是正对ILSVRC的分类问题，输入的图片是256256的三通道彩色图片，为了增强泛化能力，训练的时候Alex采用的数据增加手段中包含随机位置裁剪，具体就是在256256的图片中，随机产生位置裁剪一块224*224的子区域。他还有一个特殊的地方就是卷积的时候采用分组的方法。
3.局部响应归一化——LRN
局部响应归一化就是在某一层得到多通道的响应图之后，对响应图上某一位置和临近通道的值按照公式做归一化。
4.更深的网络——GoogLeNet
GoogLeNet把层数推进到了22层并接近人类在ImageNet数据上的识别水平，也是因为GoogLeNet跳出了AlexNet的基本结构，创新地提出了构建网络的单元Inception模块。
4.1Inception结构
他的基本思想是源于前面提到过的NIN，把激活和卷积看做是一种广义线性模型，从这个角度来看，可以用广义线性模型抽取特征，也就是用更有效的结构来代替单纯的卷积和激活操作。
4.2批归一化——Batch Normalization
他就是对每一批数据进行归一化
5.更深的网络——ResNet
他解决训练网络的另一个角度的问题，退化问题，这个问题就是随着层数加深到一定程度之后，越深的网络反而效果越差，并且不是因为更深的网络造成了过拟合，也未必是因为梯度传播的衰减。