(干货)经验之谈:DeepLearning---CNN调参策略(一)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_27923041/article/details/79410842

由于博主毕业设计需求,因此将自己两年来的经验小结一下,供自己后期查阅,同时希望能够帮到初入DL领域的小可爱们。本篇博客纯属干货,有任何问题,欢迎大家评论,博主会在看到的第一时间帮大家解疑。

首先说一下什么是卷积神经网络?

一、卷积神经网络的数学模型

卷积神经网络是一种特殊的深度前馈神经网络,该网络模型的基础模块为卷积流(为了避免层级之间全连接造成的参数冗余),包括卷积(用于维数拓展)、非线性(稀疏性、饱和侧抑制)、池化(空间或特征类型的聚合)和批量归一化(优化操作,目的是为了加快训练过程中的收敛速度,同时避免陷入局部最优)等四种操作,下面详细讲解这四种操作。

1、卷积:利用卷积核对输入图片进行处理,可学习到鲁棒性较高的特征

数字信号中常用的卷积类型包括三种,即Full卷积、Same卷积核Valid卷积。注:除了特殊申明外,卷积流中常用的是Valid卷积。另外需要注意的是:深度学习平台Caffe中常用的卷积操作包含两个参数即Stride和零填充(Zero Padding),其中Stride指的是窗口从当前位置到下一个位置,跳过的中间数据个数;例如图像从输入到卷基层的情况,窗口的初始位置在第一个像素,第二个位置在第2个像素,那么stride=2-1=1;零填充指的是将原始数据周边补上0值的圈数。

卷积操作的核心是:可以减少权值连接,引入稀疏或者局部连接,带来权值共享大大减少了参数量,从而避免了过拟合现象;另外,卷积操作具有平移不变性,使得学到的特征具有拓扑对应性、鲁棒性的特性。

2、池化:降采样操作,即在一个小区域内,采取一个特定的值作为输出值

本质上,池化操作执行空间或特征类型的聚合,降低空间维度,其主要的意义在于:减少数据计算量,刻画特征平移不变性;减少下一层输入维度,有效避免过拟合风险。池化的操作有多种方式,例如最大池化、平均池化、范数池化和对数概率池化等,常用的池化方式为最大池化(一般非线性下采样的方式),如下图所示


3、激活函数:非线性操作,通过弯曲或扭曲实现表征能力的提升

激活函数的核心是:通过层级(简单)非线性映射的复合使得整个网络的(复杂)非线性刻画能力得到提升。在应用中,常用的激活函数有:修正线性单元ReLU(加速收敛,内蕴稀疏性)、Softmax(用于最后一层,为计算概率响应)、Softplus函数(ReLU的光滑逼近)、Sigmoid系(传统神经网络的核心)。

4、批量归一化:优化操作,减少训练过程中的不稳定性

目的:避免随着层数的加深而导致信息的传递呈现逐层衰减的趋势。


展开阅读全文

没有更多推荐了,返回首页