深度学习随笔 -- 卷积神经网络

我主要看邱锡鹏的神经网络与深度学习来学习的(花书到时候会去看看)

用全连接前馈网络来处理图像，会存在一下问题：

1. 参数太多
2. 局部不变性特性(这块能用数据进行增强)

而卷积神经网络是一种具有局部连接，权重共享等特性的深层前馈神经网络。

一个典型的卷积神经网络是由卷积层，汇聚层，全连接层交叉堆叠而成。

卷积神经网络有三个结构上的特性：局部连接，权重共享，汇聚

 

卷积层

它的作用是提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器。

比如对于图像的卷积层，它的一部分卷积层的大小会为高度Mx高度Nx深度D，深度是指如果图像是RGB三层组成的话，深度为3；如果是灰度图像的话，深度为

进一步的话是指：

特征映射为一幅图像在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征。在输入层，特征映像就是图像本身，如果是灰度图像的话，深度为1；如果是彩色图像，分别是RGB三个颜色通道的特征映射，深度为3

 

汇聚层

它的作用是进行特征选择，降低特征数量，从而减少参数数量。

常用的汇聚函数：

• 最大汇聚(Max Pooling)    
• 平均汇聚(Mean Pooling)

最大汇聚就是指从卷积核里面找最大那个灰度值，平均汇聚就是指把卷积核里面的灰度值全部加起来除以卷积核灰度值的个数，求平均值。

 

 

目前，卷积网络的整体结构趋向于使用更小的卷积核以及更深的结构。另外由于卷积的操作性越来越灵活(不同的步长)，汇聚层的作用也变得越来越小（趋于全卷积网络）。

但是全卷积网络会不会对计算机性能要求更高，如果我要对实时任务做处理，该怎么设计网络呢？