深度学习网络整理第一篇——CNNs读书笔记

卷积神经网络CNNs

1. 引言

Q1 ：什么是卷积神经网络？及其作用。

卷积神经网络（Convolutional Neural Network, CNNs / ConvNets）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

注：该图展示卷积神经网络可以识别场景，也可以提供相关的标签，比如“桥梁”、“火车”和“网球”。

注：该图展示了卷积神经网络可以用来检测日常物体、人和动物。

注：卷积神经网络也在一些自然语言处理任务（比如语句分类）。

Q2：为什么引入卷积神经网络？

在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×28 的手写数字图片，输入层的神经元就有784个。效果如下图：

若在中间只使用一层隐藏层，参数 w 就有 784×15=11760 多个；若输入的是28×28 带有颜色的RGB格式的手写数字图片，输入神经元就有28×28×3=2352 个。这很容易看出使用全连接神经网络处理图像中的需要训练参数过多的问题。
而在卷积神经网络中，卷积层的神经元只与前一层的部分神经元节点相连，即它的神经元间的连接是非全连接的，且同一层中某些神经元之间的连接的权重 w 和偏移 b 是共享的（即相同的），这样大量地减少了需要训练参数的数量。
Q3：卷积神经网络的基本结构。
a）CNNs网络与传统网络示意图之间的比较

传统神经网络 卷积神经网络
一个卷积神经网络由很多层组成，它们的输入是三维的，输出也是三维的，有的层有参数，有的层不需要参数。
卷积神经网络具有三维体积的神经元。
卷积神经网络利用输入是图片的特点，把神经元设计成三个维度：width, height, depth(注意这个depth不是神经网络的深度，而是用来描述神经元的) 。比如输入的图片大小是 32 × 32 × 3 (rgb)，那么输入神经元就也具有 32×32×3 的维度。
b）组成CNNs的一般层次（将在第2章中详解每一层功能）
 卷积层（Convolutional layer），卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
 线性整流层（Rectified Linear Units layer, ReLU layer），这一层神经的活性化函数（Activation function）使用线性整流（Rectified Linear Units, ReLU）f(x)=max(0,x)。
