白话介绍卷积神经网络

01

神经网络的缺点

• 参数太多。比如处理一张 400 * 400 * 3 的彩色图片输入就要 480000 个参数，还需要隐藏层和输出层那么参数都要上千万个参数。

• 没有利用像素之间信息位置，对于图片来说每个像素于周围的像素都是联系比较紧密。

02

经典卷积神经网络重要阶段的历史突破

AlexNet

激活函数使用 ReLU 替代 Tanh， 在深度网络中 Tanh 作为激活函数在训练过程中增大了大量的计算，对比 Tanh 和 ReLU 公式就可以看出 Tanh 在训练的计算量会大大增多，使得训练过程非常慢。

Tanh 的公式如下图：

ReLU 的公式如下图：

在多块 GPU 上可以进行训练，因为在训练的过程中卷积之间的训练是基本独立的，有时候会需要用到另一块 GPU 的训练参数，这样又增大了训练的速度。如下图红线上面是一块 GPU，下面是另一块 GPU：

VGGNet

使用了小卷积核，用 3 * 3 卷积核来替代 5 * 5 和 7 * 7 卷积核和用 2 * 2 的池化核来减少训练参数。2 个 3 * 3 的卷积核堆叠卷基层的有限感受野等于 1 个 5 * 5 的卷核，2 个 3*3 的卷积核参数个数为 2 * (3 * 3) = 18，但是 1 个 5 * 5 的卷积核参数个数为 1 * (5 * 5) =25，所以可以减少参数。

GoogLeNet 的发展历程

• Inception v1 将 1 * 1，3 * 3，5 * 5 的卷积层和 3 * 3 的 pooling 池化层并联组合后 concatenate 组装在一起的设计思路。

• Inception v2 这个网络在 Inception v1 的基础上增加了 BN 层防止 Internal Covariate Shift 问题，还借鉴 VGGNet 思想使用 3 * 3 卷积核代替 5 * 5 卷积核。

• Inception v3 将一个较大的二维卷积拆分为两个一维卷积，比如将 3 * 3 卷积拆分为 1 * 3 卷积核 3 * 1 卷积可以减少参数，并增加一层非线性模型表达能力（激活函数）

• Inception v4 结合了残差神经网络 ResNet 思想。

ResNet

主要提出了残差学习的思想。在各网络层传递中或多或少都会存在信息丢失，梯度消失或者梯度爆炸等问题，导致网络没办法设计很深。残差学习的思想就是为了解决这个问题。

把输入信息也传到输出那边保护信息的完整性，对比输入和输出信息，整个网络只要学习输入和输出的差异部分，简化学习目标和难度。ResNet 中运用到两种残差模块，一种是以两个 3 * 3 的卷积网络串接在一起作为一个残差模块，另外一种是 1 * 1、3 * 3、1 * 1 的 3 个卷积网络串接在一起作为一个残差模块。

卷积神经网络，简称 CNN，是深度学习代表算法之一，主要运用于图像处理和图像识别等领域。

CNN 在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

本次分享将会从以下几点来讲解 CNN：

1. CNN 的基本结构包括输入层、卷积层、池化层、输出层等

2. CNN 训练过程中向前传播和向后传播的原理

3. 使用 Keras + CNN 识别 MNIST 手写数字

4. 使用 Keras + CNN 识别 CIFAR-10 照片图像，图像一共 10 个类别如：飞机、汽车、鸟、猫、鹿 、狗、青蛙、马、船、卡车

本场 Chat 作者：小兔子

做过 3 年大数据工作，主要做大数据实时处理。熟练掌握大数据主流框架。近几年主要做人工智能图像算法分析，熟练掌握 Tensorflow、Keras、Pytorch 等主流框架，深刻理解机器学习各种常用算法，深度学习卷积网络、递归神经网络、目标检测等。

扫码查看本场 Chat 

▼

点击阅读原文，订阅本场 Chat 开始学习