二、神经网络入门

神经网络的核心组件，即层、网络、目标函数和优化器

神经网络剖析

• 层，多个层组合成网络（或模型）。
• 输入数据和相应的目标。
• 损失函数，即用于学习的反馈信号。
• 优化器，决定学习过程如何进行。

层：深度学习的基础组件

神经网络的基本数据结构是层。层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大多数的层是有状态的，即层的权重。权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。

不同的张量格式与不同的数据处理类型需要用到不同的层。

• 简单的向量数据 保存在形状为 (samples, features) 的 2D 张量中，通常用密集连接层［densely connected layer，也叫全连接层（fully connected layer）或密集层（dense layer），对应于 Keras 的Dense 类］来处理。
• 序列数据 保存在形状为 (samples, timesteps, features) 的 3D张量中，通常用循环层（recurrent layer，比如 Keras 的 LSTM 层）来处理
• 图像数据 保存在 4D张量中，通常用二维卷积层（Keras 的 Conv2D）来处理。

每一层只接受特定形状的输入张量，并返回特定形状的输出张量

from keras import layers
layer = layers.Dense(32, input_shape=(784,)) 有 32 个输出单元的密集层

创建了一个层，只接受第一个维度大小为 784 的 2D 张量作为输入。这个层将返回一个张量，第一个维度的大小变成
了 32。
因此，这个层后面只能连接一个接受 32 维向量作为输入的层。

from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, input_shape=(784,)))
model.add(layers.Dense(32))

第二层没有输入形状（input_shape）的参数，相反，它可以自动推导出输入形状等于上一层的输出形状。

模型：层构成的网络

深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射为单一输出。

损失函数与优化器：配置学习过程的关键

一旦确定了网络架构，你还需要选择以下两个参数。

• 损失函数（目标函数）——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
• 优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降（SGD）的某个变体。

对于分类、回归、序列预测等常见问题，你可以遵循一些简单的指导原则来选择正确的损失函数。

• 二分类问题，你可以使用二元交叉熵（binary crossentropy）损失函数；
• 多分类问题，可以用分类交叉熵（categorical crossentropy）损失函数；
• 回归问题，可以用均方误差（mean-squared error）损失函数；
• 序列学习问题，可以用联结主义时序分类（CTC，connectionist temporal classification）损失函数，