深度学习算法中卷积神经网络的应用

下面一起来探讨一下关于深度学习算法中卷积神经网络的基本概念和应用:

1、卷积神经网络基本概念

卷积神经网络也是在传统人工神经网络的基础上发展起来的,它与 BP 神经网络有很大的相似之处,但也有很大的区别 ;BP 人工神经网络是以一维向量的方式进行输入,而卷积神经网络以二维矩阵格式数据进行输入,其网络的各层都是二维阵列的形式处理数据,这样的形式正好符合数字图像的二维矩阵格式,图像以二维矩阵输入正好保留了每个像素之间的相对位置信息,从而网络能够从输入图像中获取更多有用的的特征。卷积神经网络的结构和 BP 人工神经网络一样,是由一层层的结构组成,但是每一层的功能却不一样。卷积神经网络的层结构主要有 :输入层、卷积层、池化层(汇聚层、下采样层)、输出层等,其他的还可以有全连接层,归一化层之类的层结构。

2、卷积层

卷积神经网络因卷积操作而闻名,而卷积操作又是卷积层主要过程。不同的卷积层有不同数量的卷积核,卷积核实际就是一个数值矩阵,并且每个卷积核拥有一个常量偏置,所有矩阵里的元素加上偏置组成了该卷积层的权重,权重参与网络的迭代更新,常用的卷积核大小有 1*1、3*3、5*5、7*7 等。局部感受野和权值共享是卷积操作的两个鲜明特点。局部感受野是指每次卷积操作只需要关心做卷积操作的那部分区域的颜色、轮廓、纹理等信息 ;局部感受野的大小就是卷积核卷积操作时的作用范围,这仅仅是对于一层卷积层而言,对于多层卷积网络,可由此逐层往回反馈,通过反复迭代可以计算出在原始输入图像中感受野大小,从而计算多层卷积层感受野大小与该层之前所有卷积层的卷积核大小和步长有关。权值共享是指卷积核在卷积操作中每个卷积核的值是不变的,除了每个迭代的权重更新,当然每个卷积核里的值是不一样的,则卷积核便不同,可以理解为每个卷积核提取的是一种特征,如有的提取的是图像的颜色特征、轮廓特征等。

3、下采样层

下采样层,也叫 Pooling 层,是卷积神经网络中的又一个重要层。下采样层顾名思义执行的是下采样降维操作,下采样层没有卷积层那样复杂,下采样层一般没有权重更新。常用的下采样层有最大值下采样(max pooling)、随机值下采样(stochastic pooling)、均值下采样(mean pooling)等,常用的下采样尺度为 2*2、7*7 等。均值下采样是在下采样局部取平均值来代替这个局部的所有值 ;最大值下采样是取采样区域中的最大值操作 ;随机下采样是根据某些准则在采样区域中根据一定的算法准则随机取值。下采样的主要作用是降低数据体的空间尺寸,使网络中参数的数量减少,降低计算资源的开销,更能有效的控制过拟合 ;另外还可能起到转换不变性和类似于大脑视皮层的侧抑制效应。

4、激活函数

激活函数的作用是选择性的对神经元节点进行特征激活或抑制,能对有用的目标特征进行增强激活,对无用的背景特征进行抑制减弱,从而使得卷积神经网络可以解决非线性问题。网络模型中若不加入非线性激活函数,网络模型相当于变成了线性表达,从而网络的表达能力也不好,如果使用非线性激活函数,网络模型就具有特征空间的非线性映射能力。另外激活函数还能构建稀疏矩阵,使网络的输出具有稀疏性,稀疏性可以去除数据的冗余,最大可能的保留数据特征, 所以每层带有激活函数的输出都是用大多数值为 0 的稀疏矩阵来表示。激活函数必须具备一些基本的特性 :

1)单调性 :单调的激活函数保证了单层网络模型具有凸函数性能 ;

2)可微性 :使用误差梯度来对模型权重进行微调更新。激活函数可以保证每个神经元节点的输出值在一个固定范围之内,限定了输出值的范围可以使得误差梯度更加稳定的更新网络权重,使得网络模型的性能更加优良 ;当激活函数的输出值不受限定时,模型的训练会更加高效,但是在这种情况下需要更小的学习率。卷积神经网络经常使用的激活函数有好几种 :sigmoid函数、tanh 函数、Re Lu 函数、Leaky Re Lu 函数、PRe Lu 函数等,每种激活函数使用的方法大致相同,  但是不同的激活函数带来的效果却有差异,目前卷积神经网络中用得最多的还是 Re Lu 函数,sigmoid 函数在传统的 BP 神经网络中用得比较多。

5、损失函数

损失函数亦叫作代价函数,在机器学习的任务中,所有算法都有一个目标函数,算法的原理就是对这个目标函数进行优化,优化目标函数的方向是取其最大值或者最小值,当目标函数在约束条件下最小化时就是损失函数。在卷积神经网络中损失函数用来驱动网络训练,使网络权重得到更新。卷积神经网络模型训练中最常用的损失函数就是 Softmax loss 函数,Soft max loss 函数是 Soft max 的交叉熵损失函数,Soft max 是一种常用的分类器。

6、经典卷积神经网络模型

卷积神经网络从兴起到现在,期间出现了不少具有代表性的网络模型,有的网络模型在深度学习的发展史中具有里程碑的意义。
最早的也最具有代表性的卷积神经网络模型是 Le  Net模型,这是一个浅层网络模型,由两个卷积层、两个下采样层、一个全连接层组成,这个模型是卷积神经网络在实际中的第一个应用,应用于银行支票上手写数字的识别,当时取得了非常好的效果,这也是卷积神经网络的开山之作。Alex  Net 网络模型的出现,具有里程碑的意义,其网络模型相比 Le  Net 模型要更深一些,有 5 个卷积层、3 个下采样层、2 个全连接层,还有 1 个数据局部归一化层。它的诞生验证了卷积神经网络在复杂模型下的有效性,另外 Alex  Net网络模型的训练首次实现了 GPU 加速运算,使得在可接受的时间范围内得到结果,从此让深度学习和 GPU 紧紧的联系到一起,也推动了有监督式的深度学习的发展。以及到后来非常有名的 Google  Net 模型、VGG 模型、Res  Net 模型等,这些经典模型都在各自的时期取得了卷积神经网络图像分类任务的最佳结果,这些模型也呈现出一种趋势是网络层数越来越深,并且取得的效果也越来越好。

 

发布了613 篇原创文章 · 获赞 475 · 访问量 34万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 1024 设计师: 上身试试

分享到微信朋友圈

×

扫一扫,手机浏览