01
神经网络的缺点
参数太多。比如处理一张 400 * 400 * 3 的彩色图片输入就要 480000 个参数,还需要隐藏层和输出层那么参数都要上千万个参数。
没有利用像素之间信息位置,对于图片来说每个像素于周围的像素都是联系比较紧密。
02
经典卷积神经网络重要阶段的历史突破
AlexNet
激活函数使用 ReLU 替代 Tanh, 在深度网络中 Tanh 作为激活函数在训练过程中增大了大量的计算,对比 Tanh 和 ReLU 公式就可以看出 Tanh 在训练的计算量会大大增多,使得训练过程非常慢。
Tanh 的公式如下图:
ReLU 的公式如下图:
在多块 GPU 上可以进行训练,因为在训练的过程中卷积之间的训练是基本独立的,有时候会需要用到另一块 GPU 的训练参数,这样又增大了训练的速度。如下图红线上面是一块 GPU,下面是另一块 GPU:
VGGNet
使用了小卷积核,用 3 * 3 卷积核来替代 5 * 5 和 7 * 7 卷积核和用 2 * 2 的池化核来减少训练参数。2 个 3 * 3 的卷积核堆叠卷基层的有限感受野等于 1 个 5 * 5 的卷核,2 个 3*3 的卷积核参数个数为 2 * (3 * 3) = 18,但是 1 个 5 * 5 的卷积核参数个数为 1 * (5 * 5) =25,所以可以减少参数。
GoogLeNet 的发展历程
Inception v1 将 1 * 1,3 * 3,5 * 5 的卷积层和 3 * 3 的 pooling 池化层并联组合后 concatenate 组装在一起的设计思路。
Inception v2 这个网络在 Inception v1 的基础上增加了 BN 层防止 Internal Covariate Shift 问题,还借鉴 VGGNet 思想使用 3 * 3 卷积核代替 5 * 5 卷积核。
Inception v3 将一个较大的二维卷积拆分为两个一维卷积,比如将 3 * 3 卷积拆分为 1 * 3 卷积核 3 * 1 卷积可以减少参数,并增加一层非线性模型表达能力(激活函数)
Inception v4 结合了残差神经网络 ResNet 思想。
ResNet
主要提出了残差学习的思想。在各网络层传递中或多或少都会存在信息丢失,梯度消失或者梯度爆炸等问题,导致网络没办法设计很深。残差学习的思想就是为了解决这个问题。
把输入信息也传到输出那边保护信息的完整性,对比输入和输出信息,整个网络只要学习输入和输出的差异部分,简化学习目标和难度。ResNet 中运用到两种残差模块,一种是以两个 3 * 3 的卷积网络串接在一起作为一个残差模块,另外一种是 1 * 1、3 * 3、1 * 1 的 3 个卷积网络串接在一起作为一个残差模块。
卷积神经网络,简称 CNN,是深度学习代表算法之一,主要运用于图像处理和图像识别等领域。
CNN 在本质上是一种输入到输出的映射,它能够学习大量的输入与输出之间的映射关系,而不需要任何输入和输出之间的精确的数学表达式,只要用已知的模式对卷积网络加以训练,网络就具有输入输出对之间的映射能力。
本次分享将会从以下几点来讲解 CNN:
CNN 的基本结构包括输入层、卷积层、池化层、输出层等
CNN 训练过程中向前传播和向后传播的原理
使用 Keras + CNN 识别 MNIST 手写数字
使用 Keras + CNN 识别 CIFAR-10 照片图像,图像一共 10 个类别如:飞机、汽车、鸟、猫、鹿 、狗、青蛙、马、船、卡车
本场 Chat 作者:小兔子
做过 3 年大数据工作,主要做大数据实时处理。熟练掌握大数据主流框架。近几年主要做人工智能图像算法分析,熟练掌握 Tensorflow、Keras、Pytorch 等主流框架,深刻理解机器学习各种常用算法,深度学习卷积网络、递归神经网络、目标检测等。
扫码查看本场 Chat
▼
点击阅读原文,订阅本场 Chat 开始学习