Tensorflow学习笔记7——卷积神经网络基础

第七讲 卷积神经网络基础

本节目标：会用CNN（卷积神经网络）

全连接NN：

每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测结果。
参数个数：∑〖（前层*后层+后层）〗
其中前层*后层即为w，最后的后层即为b

如果输入为生活中的高分辨率彩色图像，不仅像素点会增加，还从灰度图的单通道信息，变成了红绿蓝的三通道信息，待优化的参数过多容易导致模型过拟合。

为了防止过拟合，实际应用中会先对原始图像进行特征提取，再把提取到的特征喂给全连接网络。

卷积（convolutional）

卷积可认为是一种有效提取图像特征的方法，一般会用一个正方形的卷积核，遍历图片上的每个点。计算：图片区域内，相对应的每一个像素值，乘以卷积核内对应点的权重，求和再加上偏置。

对单通道图片求卷积：

如现在有一个5*5像素的灰度图，单通道：

利用一个3*3*1的卷积核对5*5*1的图片进行卷积，实际上就是让卷积核在图片上滑动并计算，每滑动一次得到输出图片的一个值。

经常在输入图片的周围进行全零填充，可以保证输出图片与输入图片大小一致。

全零填充（Padding）

在tensorflow中，用参数padding=’SAME’表示使用全零填充或padding=’VALID’表示不使用。
计算卷积的函数：


其中输出图片的深度由卷积核个数决定。

对多通道图片求卷积：

卷积核有三层，每层生成九个待优化的参数，一共27个待优化的参数w和一个偏置b。所有27个点与三层输入图片中的对应数求和再加上偏置b，最后得出输出图片中的一个参数。

池化（Pooling）

池化用于减少特征数量。
最大值池化可提取图片纹理，均值池化可保留背景特征。

在TensorFlow中计算池化的函数：（最大池化和平均池化）同样需要四个参数。

舍弃（Dropout）

在神经网络的训练过程中，将一部分神经元按照一定概率从神经网络中暂时舍弃。这种舍弃是临时性的，仅在训练时舍弃一定概率的神经元，使用时被舍弃的神经元恢复链接。函数为：tf.nn.dropout(上层输出, 暂时舍弃的概率)。可以有效减少过拟合，加快模型训练速度。常常在前向传播构建神经网络时使用dropout。

小结：

卷积神经网络实际上就是借助卷积核对输入图片进行特征提取，再把提取到的特征喂入全链接神经网络。

以上学习内容来自中国MOOC网课程：https://www.icourse163.org/course/PKU-1002536002