初识卷积神经网络

初识卷积神经网络

1、初识神经网络
2、卷积神经网络
3、卷积神经网络层次结构
4、卷积神经网络优缺点
5、结论
初识神经网络
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

关于更详细的介绍请参考：https://baike.baidu.com/item/%E4%BA%BA%E5%B7%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/382460?fr=aladdin
卷积神经网络
卷积神经网络发展历程：

卷积神经网络(Convolution NeuralNetwork,简称CNN)是基于传统神经网络改进的层级网络,通常由卷积层、池化层、全连接层构成。
卷积层:通过卷积运算进行图像降维以及提取图像的局部特征。
池化(也称下采样) 层:将卷积操作提取的特征划分为大小相同的n个区域，然后取其平均值或最大值特征(通过平均池化或最大值池化操作)表示区域的特征，以降低特征维度、防止过拟合。
全连接层:将所有局部特征整合得到完整的特征图，最后利用softmax函数进行图像分类。
卷积神经网络结构

卷积层：卷积运算的目的是特征提取，第一-层卷积可能只能提取一些低级的特征如边缘、线条等，更多层的网络能从低级特种中迭代提取更复杂的特征。卷积运算的目的是特征提取，第一-层卷积可能只能提取一些低级的特征如边缘、线条等，更多层的网络能从低级特种中迭代提取更复杂的特征。卷积核的四大要素:卷积核大小、卷积核步长、卷积核个数、卷积核零填充大小。
卷积核大小常用大小为：11、33、5*5
卷积核步长为：平移卷积核观察一张图片移动的参数（像素）成为步长。以下图为例。


卷积核零填充就是在外围填充n圈值为0的像素，n为零填充大小，如下图是零填充为2的图片

卷积核计算公式：

下面一个案例：


激活层：
激活机制：随着神经网络的发展，大家原有的sigmoid等激活函数并不能达到好的效果，所以采取新的激活函数Relu。

这里说明一下为何采用新的激活函数，主要有以下几点：

池化层：

池化层作用：
（1）首要作用，下采样（downsampling）

（2）降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗等等。各种说辞吧，总的理解就是减少参数量。

（3）实现非线性（这个可以想一下，relu函数，是不是有点类似的感觉？）。

（4）可以扩大感知野。

（5）可以实现特征不变性，其中不变形性包括，平移不变性、旋转不变性和尺度不变性。
池化层也有窗口的大小以及移动步长，而输出大小的计算与卷积相同，因此，不再做过多讲解。下面我们来看一个案例：

答案：即输出特征图片大小为97。
全连接层：
　经过前面若干次卷积+激励+池化后，终于来到了输出层，模型会将学到的一个高质量的特征图片全连接层。其实在全连接层之前，如果神经元数目过大，学习能力强，有可能出现过拟合。因此，可以引入dropout操作，来随机删除神经网络中的部分神经元，正则化等来解决此问题。还可以进行局部归一化（LRN）、数据增强，交叉验证，提前终止训练等操作，来增加鲁棒性。 上述讲的卷积池化相当于做特征工程，最后的全连接层在整个卷积神经网络中起到“分类器”的作用。
　　当来到了全连接层之后，可以理解为一个简单的多分类神经网络（如：BP神经网络），通过softmax函数得到最终的输出。整个模型训练完毕。
　　两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的：

卷积神经网络优缺点
优点
　　共享卷积核，对高维数据处理无压力
　　无需手动选取特征，训练好权重，即得特征分类效果好
缺点
　　需要调参，需要大样本量，训练最好要GPU
　　物理含义不明确
　　实现比较复杂
　　训练所需时间比较久
结论
卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

CNN一个非常重要的特点就是头重脚轻（越往输入权值越小，越往输出权值越多），呈现出一个倒三角的形态，这就很好地避免了BP神经网络中反向传播的时候梯度损失得太快。

卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
参考链接：https://www.jianshu.com/p/1ea2949c0056