神经网络的核心组件

前言

神经网络主要围绕以下四个方面：

1）层，多个层组合成网络（或模型）

2）输入数据和相应的目标

3）损失函数，即用于学习的反馈信号

4）优化器，决定学习过程如何进行

1. 层

神经网络的基本数据结构是层。层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大多数的层是有状态的，即层的权重。权重是利用随机梯度下降学到的一个或多个张量，其中包括网络的知识。

简单的向量数据保存在形状为 (samples, features) 的2D张量中，通常用密集连接层（也叫全连接层或密集层，对应于Keras的Dense类）来处理；
序列数据保存在形状为 (samples, timesteps, features) 的3D张量中，通常用循环层（比如Keras的LSTM层）来处理；
图像数据保存在4D张量中，通常用二维卷积层（Keras的Conv2D）来处理。

2. 模型：层构成的网络

深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射为单一输出。
其他常见的网络拓扑结构还包括：

• 双分支（two-branch）网络
• 多头（multihead）网络
• Inception模块

3. 损失函数和优化器

• 损失函数（目标函数）—— 在训练过程中需要将其最小化。它能够衡量当前任务是否已经成功完成。
• 优化器—— 决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降（SGD）的某个变体。

具有多个输出的神经网络可能有多个损失函数（每个输出对应一个损失函数）。但是，梯度下降过程必须基于单个标量损失值。因此，对于具有多个损失函数的网络，需要将所有损失函数取平均，变为一个标量值。

一些经验：

• 二分类问题，可以使用二元交叉熵（binary crossentropy）损失函数
• 多分类问题，可以使用分类交叉熵（categorical crossentropy）损失函数
• 回归问题，可以使用均方误差（mean-squared error）损失函数
• 序列学习问题，可以使用联结主义时序分类（CTC，connectionist temporal classification）损失函数