深度学习入门——深度学习

加深网络

前情回顾

• 构成神经网络的各种层
• 学习时的有效技巧
• 对图像特别有效的CNN
• 参数的最优化方法

向更深的网络出发

网络特点

• 基于3×3 的小型滤波器的卷积层。
• 激活函数是ReLU。
• 全连接层的后面使用Dropout层。
• 基于Adam的最优化。
• 使用He初始值作为权重初始值。

进一步提高识别精度

对于手写数字识别这样一个比较简单的任务，没有必要将网络的表现力提高到那么高的程度

大规模的一般物体识别的情况，因为问题复杂，所以加深层对提高识别精度大有裨益。

方法

• 集成学习
• 学习率衰减
• Data Augmentation 数据增广
  • 旋转、平移
  • 裁剪图像的crop处理
  • 将图像左右翻转的flip处理
  • 亮度等外观上的变化
  • 放大缩小

加深层的动机

层越深，识别性能也越高

one

可以减少网络的参数数量，说得详细一点，就是与没有加深层的网络相比，加深了层的网络可以用更少的参数达到同等水平（或者更强）的表现力

每个输出节点都是从输入数据的某个5 × 5 的区域算出来的

图8-6 的输出数据是“观察”了输入数据的某个5 × 5 的区域后计算出来的

---

一次5 × 5 的卷积运算的区域可以由两次3 × 3 的卷积运算抵充。并且，相对于前者的参数数量25（5 × 5），后者一共是18（2 × 3 × 3），通过叠加卷积层，参数数量减少了。而且，这个参数数量之差会随着层的加深而变大。

two

使学习更加高效

在前面的卷积层中，神经元会对边缘等简单的形状有响应，随着层的加深，开始对纹理、物体部件等更加复杂的东西有响应

通过加深网络，就可以分层次地分解需要学习的问题

通过加深层，可以分层次地传递信息，这一点也很重要。通过加深层，可以将各层要学习的问题分解成容易解决的简单问题，从而可以进行高效的学习。

深度学习的小历史

ImageNet

ImageNet是拥有超过100 万张图像的数据集

VGG

VGG是由卷积层和池化层构成的基础的CNN

它的特点在于将有权重的层（卷积层或者全连接层）叠加至16 层（或者19 层），具备了深度（根据层的深度，有时也称为“VGG16”或“VGG19”）

VGG中需要注意的地方是，基于3×3 的小型滤波器的卷积层的运算是连续进行的

GoogLeNet

GoogLeNet的特征是，网络不仅在纵向上有深度，在横向上也有深度（广度）。

GoogLeNet在横向上有“宽度”，这称为“Inception 结构”

Inception 结构使用了多个大小不同的滤波器（和池化），最后再合并它们的结果。GoogLeNet 的特征就是将这个Inception 结构用作一个构件（构成元素）。此外，在GoogLeNet 中，很多地方都使用了大小为1 × 1 的滤波器的卷积层。这个1 × 1 的卷积运算通过在通道方向上减小大小，有助于减少参数和实现高速化处理

ResNet

ResNet 是微软团队开发的网络。它的特征在于具有比以前的网络更深的结构。

ResNet中，为了解决这类问题，导入了“快捷结构”（也称为“捷径”或“小路”）。导入这个快捷结构后，就可以随着层的加深而不断提高性能了（层的加深也是有限度的）

通过快捷结构，反向传播时信号可以无衰减地传递。

---

[!IMPORTANT]

实践中经常会灵活应用使用ImageNet 这个巨大的数据集学习到的权重数据，这称为迁移学习

将学习完的权重（的一部分）复制到其他神经网络，进行再学习（fine tuning）

迁移学习在手头数据集较少时非常有效。

深度学习的高速化

大多数深度学习的框架都支持GPU（Graphics Processing Unit），可以高速地处理大量的运算

最近的框架也开始支持多个GPU或多台机器上的分布式学习

需要努力解决的问题

如何高速、高效地进行卷积层中的运算是深度学习的一大课题

虽然图8-14是推理时的结果，不过学习时也一样，卷积层中会耗费大量时间

基于GPU的高速化

由于GPU可以高速地进行并行数值计算，因此GPU计算的目标就是将这种压倒性的计算能力用于各种用途

分布式学习

为了进一步提高深度学习所需的计算的速度，可以考虑在多个GPU或者多台机器上进行分布式计算

以大型数据中心的低延迟·高吞吐网络作为支撑，基于这些框架的分布式学习呈现出惊人的效果

“如何进行分布式计算”是一个非常难的课题。它包含了机器间的通信、数据的同步等多个无法轻易解决的问题。可以将这些难题都交给TensorFlow 等优秀的框架

运算精度的位数缩减

关于数值精度（用几位数据表示数值），我们已经知道深度学习并不那么需要数值精度的位数。这是神经网络的一个重要性质。这个性质是基于神经网络的健壮性而产生的。这里所说的健壮性是指，比如，即便输入图像附有一些小的噪声，输出结果也仍然保持不变

在深度学习中，即便是16 位的半精度浮点数（half float），也可以顺利地进行学习

深度学习的使用案例

在图像、语音、自然语言等各个不同的领域，深度学习都展现了优异的性能。本节将以计算机视觉这个领域为中心，介绍几个深度学习能做的事情（应用）。

物体检测

图像分割

在像素水平上对图像进行分类

有人提出了一个名为FCN（Fully Convolutional Network）[37] 的方法。该方法通过一次forward处理，对所有像素进行分类（图8-20）。

FCN的特征在于最后导入了扩大空间大小的处理。基于这个处理，变小了的中间数据可以一下子扩大到和输入图像一样的大小。FCN最后进行的扩大处理是基于双线性插值法的扩大（双线性插值扩大）。FCN中，这个双线性插值扩大是通过去卷积（逆卷积运算）来实现的

图像标题的生成

一个基于深度学习生成图像标题的代表性方法是被称为NIC（Neural Image Caption）的模型

NIC由深层的CNN和处理自然语言的RNN（Recurrent Neural Network）构成

RNN是呈递归式连接的网络，经常被用于自然语言、时间序列数据等连续性的数据上

深度学习的未来

图像风格变换

图像的生成

图8-24 中展示的图像是基于DCGAN（Deep Convolutional Generative Adversarial Network）方法生成的卧室图像的例子。

通过让两者以竞争的方式学习，Generator 会学习到更加精妙的图像作假技术，Discriminator 则会成长为能以更高精度辨别真假的鉴定师。两者互相切磋、共同成长，这是GAN（Generative Adversarial Network）这个技术的有趣之处。

自动驾驶

Deep Q-Network（强化学习）

就像人类通过摸索试验来学习一样（比如骑自行车），让计算机也在摸索试验的过程中自主学习，这称为强化学习（reinforcement learning）

强化学习的基本框架是，代理（Agent）根据环境选择行动，然后通过这个行动改变环境。根据环境的变化，代理获得某种报酬。强化学习的目的是决定代理的行动方针，以获得更好的报酬

小结

• 对于大多数的问题，都可以期待通过加深网络来提高性能。
• 在最近的图像识别大赛ILSVRC中，基于深度学习的方法独占鳌头，使用的网络也在深化。
• VGG、GoogLeNet、ResNet等是几个著名的网络。
• 基于GPU、分布式学习、位数精度的缩减，可以实现深度学习的高速化。
• 深度学习（神经网络）不仅可以用于物体识别，还可以用于物体检测、图像分割。
• 深度学习的应用包括图像标题的生成、图像的生成、强化学习等。最近，深度学习在自动驾驶上的应用也备受期待。