卷积神经网络（CNN：Convolutional Neural Network）

1、感知器（perceptron）

感知器是卷积神经网络的基本单元，下图展示了其工作原理，为了方便理解，图中只显示了3个输入。

向量w为输入向量x的权重，b为偏差，最后对x的线性组合（）的值进行判断，

如果值大于0，输出1.

如果值小于0，输出0.

感知器的不同组合产生不同神经网络

增加层次

增加深度

为什么感知器可以运用于图像处理领域？

图像滤波通过图像的卷积运算来实现，其公式如下：

其实卷积运算也是像素值的线性组合，权重为滤波器对应像素位置的值。

图像的卷积运算也可以通过感知机来表示。

下面的内容先介绍是什么，然后讲如何理解，最后说为什么。

2、卷积神经网络（CNN）

卷积神经网络中常见的一种架构如下图所示。

图中的每一stage可以视为图像的特征提取，图中只显示了3个stage的特征提取。

如果希望提取到更多的细节，可以增加 stage。

每一个stage由3小步骤组成，

第一为卷积层，提取特征；

第二为LCN（Local Contrast Normalization，局部对比度归一化），归一化局部图像的对比度。

第三为Pooling，池化，缩小图片大小。

2.1 卷积层（convolutional layer）

假设一张图像32*32*3（3为RGB颜色通道），滤波器为5*5*3，卷积后得到特征图像（28*28*1），这里默认stride 为1。

如果使用6个不同的滤波器进行卷积后，将会得到6个不同的特征图像

如果步长（stride）为1，滤波器每隔一个像素点移动（向右移动，或向下移动）。

如果步长为2，滤波器每隔两个像素点移动，如下图所示。

若原图大小为N*N，滤波器大小为F*F，步长为S，则卷积后的图像大小为：

2.2 局部对比度归一化（LCN）

图像归一化公式

其中

N（x,y) 表示将图像中的像素值建模成为的正态分布。

m为均值，为标准差。

2.3 池化（Pooling）

池化的主要功能是缩小图片，减少计算量。

池化有两种一种是最大值池化，一种是均值池化，较常用的为最大值池化。

其公式如下：

如果公式很难看懂，可以如下图方式理解最大值池化；

一张4*4的图像，每2*2个像素组成一个小方格，

取小方格中四个像素中最大的那个值，然后扔掉其它值，

这样就形成一个新的2*2的图像，图片变小了。

2.4 全连接层

全连接层的第一步需要flattening图像，

如下3*3图像，可视为二维矩阵

flattening后成为1*9的向量：

然后进行全连接，关于全连接的原理，需要另外用一章来说，涉及很多知识。

 

3 关于卷积神经网络的直观理解

这一小结的内容发现大牛‘沉迷学习的糕糕’发表在其知乎的个人专栏了，非常详细，整个内容分为两个部分：

卷积神经网络CNN完全指南终极版（一）

卷积神经网络CNN完全指南终极版（二）

 

4 关于卷积神经网络的一些问题

4.1 为什么要使用LCN（local contrast normaliz）

对于两张图片（仅仅只是对比度不同），如下图所示。

在提取特征过程中，希望眼睛这个部位的特征不受对比度影响，所以使局部对比度归一化

4.2 为什么使用最大值池化

对于滤波后的图片，无论是求边缘或是实现其它功能，最有用的是哪些高亮度值的像素点，

非极大值抑制也是利用亮度值最高的像素。