CNN基础知识

参考：《解析深度学习——卷积神经网络原理与视觉实践》

网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

端到端学习，指整个学习过程中不进行人为的子问题划分，完全交给深度学习模型直接学习从原始输入到期望输出的映射。相比分治策略,“端到端”的学习方式具有协同增效的优势,有更大可能获得全局最优解。

一、CNN的基本操作

1、某层偏置设置为全0或学习率设置为0可以起到固定该层偏置或权重的作用。

2、stride convolutional layer代替pooling操作实现降采样。

3、激活函数作用，又称非线性映射层：增加整个网络的表达能力。

4、全连接层作用：将学到的特征表示映射到样本的标记空间。实际应用中，全连接的全连接层可以转化为卷积核为1*1的卷积，卷积层的全连接层可以转化为卷积核h*w的全局卷积。

5、目标函数作用：衡量预测值与真实的样本标记的误差，交叉熵损失函数和L2损失函数分别是分类和回归最常用的目标函数。

二、CNN的经典结构

1、感受野：神经元只接受其所支配的刺激区域内的信号。

研究方向：目前已有不少研究工作为提升模型预测能力通过改造现有卷积操作试图扩大原有卷积核在前层的感受野大小,或使原始感受野不再是矩形区域而是更自由可变的形状,对以上内容感兴趣的读者可参考“扩张卷积操作”和“可变卷积网络”。

2、分布式表示（同一层特征）

每个语义概念由许多分布在不同神经元中被激活的模式(pattern)表示;而每个神经元又可以参与到许多不同语义概念的表示中去。

神经网络响应区域呈现响应区域集中且占原图比例较小，“稀疏性”。

3、深度特征层次性（不同层特征）

（浅层网络-基本信息）第一层：边缘和方向；第二层：纹理等；

（深层网络-高层语义信息）第三层：例车轮、文字、人脸等；第五层：更具分辨力的信息

多层特征融合是一项直接且有效的集成技术

局部响应规范化(LRN)要求对相同空间位置上相邻深度的卷积结果做规范化（Alex-Net）。