算法工程师修仙之路：Keras（十）

深度学习基础

神经网络入门

---

神经网络剖析

• 训练神经网络主要围绕以下四个方面：

  • 层，多个层组合成网络（或模型）；
  • 输入数据和相应的目标；
  • 损失函数，即用于学习的反馈信号；
  • 优化器，决定学习过程如何进行。

• 网络、层、损失函数和优化器之间的关系
  

• 多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。

层：深度学习的基础组件

• 神经网络的基本数据结构是层。

• 层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。

• 有些层是无状态的，但大多数的层是有状态的，即层的权重。

• 权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。

• 不同的张量格式与不同的数据处理类型需要用到不同的层。

  • 简单的向量数据保存在形状为 (samples, features) 的 2D 张量中，通常用密集连接层［densely connected layer，也叫全连接层（fully connected layer）或密集层（dense layer），对应于 Keras 的 Dense 类］来处理。
  • 序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中，通常用循环层（recurrent layer，比如 Keras 的 LSTM 层）来处理。
  • 图像数据保存在 4D 张量中，通常用二维卷积层（Keras 的 Conv2D）来处理。

• 在 Keras 中，构建深度学习模型就是将相互兼容的多个层拼接在一起，以建立有用的数据变换流程。这里层兼容性（layer compatibility）具体指的是每一层只接受特定形状的输入张量，并返回特定形状的输出张量。

  from keras import layers
  layer = layers.Dense(32, input_shape=(784,))	# 有32个输出单元的密集层
  

  • 我们创建了一个层，只接受第一个维度大小为784的 2D 张量（第0轴是批量维度，其大小没有指定，因此可以任意取值）作为输入。
  • 这个层将返回一个张量，第一个维度的大小变成了32。因此，这个层后面只能连接一个接受32维向量作为输入的层。

• 使用 Keras 时，你无须担心兼容性，因为向模型中添加的层都会自动匹配输入层的形状。

  from keras import models
  from keras import layers
  model = models.Sequential()
  model.add(layers.Dense(32, input_shape=(784,)))
  model.add(layers.Dense(32))
  

  • 其中第二层没有输入形状（input_shape）的参数，相反，它可以自动推导出输入形状等于上一层的输出形状。

模型：层构成的网络

• 深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射为单一输出。

• 一些常见的网络拓扑结构如下：

  • 双分支（two-branch）网络；
  • 多头（multihead）网络；
  • Inception 模块。

• 网络的拓扑结构定义了一个假设空间（hypothesis space）。

  • 选定了网络拓扑结构，意味着将可能性空间（假设空间）限定为一系列特定的张量运算，将输入数据映射为输出数据。
  • 然后，你需要为这些张量运算的权重张量找到一组合适的值。

损失函数与优化器：配置学习过程的关键

• 一旦确定了网络架构，你还需要选择以下两个参数：

  • 损失函数（目标函数）
    • 在训练过程中需要将其最小化。
    • 它能够衡量当前任务是否已成功完成。
  • 优化器
    • 决定如何基于损失函数对网络进行更新。
    • 它执行的是随机梯度下降（SGD）的某个变体。

• 具有多个输出的神经网络可能具有多个损失函数（每个输出对应一个损失函数）。但是，梯度下降过程必须基于单个标量损失值。因此，对于具有多个损失函数的网络，需要将所有损失函数取平均，变为一个标量值。

• 选择正确的目标函数对解决问题是非常重要的。网络的目的是使损失尽可能最小化，因此，如果目标函数与成功完成当前任务不完全相关，那么网络最终得到的结果可能会不符合你的预期。

• 对于分类、回归、序列预测等常见问题，你可以遵循一些简单的指导原则来选择正确的损失函数：

  • 对于二分类问题，你可以使用二元交叉熵（binary crossentropy）损失函数；
  • 对于多分类问题，可以用分类交叉熵（categorical crossentropy）损失函数；
  • 对于回归问题，可以用均方误差（mean-squared error）损失函数；
  • 对于序列学习问题，可以用联结主义时序分类（CTC，connectionist temporal classification）损失函数。
  • 只有在面对真正全新的研究问题时，你才需要自主开发目标函数。