深度学习（四）Keras搭建神经网络实战文本情感分类

本文内容：
1.Keras核心组件
2.使用Keras构建神经网络解决文本情感分类问题

本节将进一步介绍神经网络的核心组件，即层、网络、目标函数和优化器和Keras，我们将用三个介绍性示例深入讲解如何使用神经网络解决实际问题， 这三个示例分别是:

• 将电影评论划分为正面或负面(二分类问题)
• 将新闻按主题分类(多分类问题)
• 根据房地产数据估算房屋价格(回归问题)

1.神经网络剖析

前面几章介绍过，训练神经网络主要围绕以下四个方面。 �

• 层，多个层组合成网络(或模型)。
• 输入数据和相应的目标。
• 损失函数，即用于学习的反馈信号。
• 优化器，决定学习过程如何进行。

你可以将这四者的关系可视化，如图所示:多个层链接在一起组成了网络，将输入数 据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预 测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。

image.png

1.1 层:深度学习的基础组件

我们在前面介绍过，神经网络的基本数据结构是层。层是一个数据处理模块，将一个 或多个输入张量转换为一个或多个输出张量。有些层是无状态的，但大多数的层是有状态的， 即层的权重。权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。

不同的张量格式与不同的数据处理类型需要用到不同的层。例如，简单的向量数据保存在 形状为 (samples, features) 的 2D 张量中，通常用密集连接层[densely connected layer，也 叫全连接层(fully connected layer)或密集层(dense layer)，对应于 Keras 的 Dense 类]来处 理。序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中，通常用循环 层(recurrent layer，比如 Keras 的 LSTM 层)来处理。图像数据保存在 4D 张量中，通常用二维 卷积层(Keras 的 Conv2D)来处理。

你可以将层看作深度学习的乐高积木，Keras 等框架则将这种比喻具体化。在 Keras 中，构 建深度学习模型就是将相互兼容的多个层拼接在一起，以建立有用的数据变换流程。这里层兼 容性(layer compatibility)具体指的是每一层只接受特定形状的输入张量，并返回特定形状的输 出张量。看看下面这个例子。

from keras import layers
layer = layers.Dense(32, input_shape=(784,))#逗号表示后面是不定个 所以是（784，uncertain）的二维张量

我们创建了一个层，只接受第一个维度大小为 784 的 2D 张量(第 0 轴是批量维度，其大 小没有指定，因此可以任意取值)作为输入。这个层将返回一个张量，第一个维度的大小变成 了 32。

因此，这个层后面只能连接一个接受 32 维向量作为输入的层。使用 Keras 时，你无须担心兼容性，因为向模型中添加的层都会自动匹配输入层的形状，例如下面这段代码。

from keras import models from keras import layers
model = models.Sequential() 
model.add(layers.Dense(32, input_shape=(784,))) 
model.add(layers.Dense(32))

其中第二层没有输入形状(input_shape)的参数，相反，它可以自动推导出输入形状等 于上一层的输出形状。

1.2 模型:层构成的网络

深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射 为单一输出。
但随着深入学习，你会接触到更多类型的网络拓扑结构。一些常见的网络拓扑结构如下。 �

• 双分支(two-branch)网络
• 多头(multihead)网络
• Inception 模块
  网络的拓扑结构定义了一个假设空间(hypothesis space)。你可能还记得机器学习的定义:“在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。” 选定了网络拓扑结构，意味着将可能性空间(假设空间)限定为一系列特定的张量运算，将输入数据映射为输出数据。然后，你需要为这些张量运算的权重张量找到一组合适的值。

选择正确的网络架构更像是一门艺术而不是科学。虽然有一些最佳实践和原则，但只有动 手实践才能让你成为合格的神经网络架构师。学习构建神经网络的详细原则，也会帮你建立直觉，明白对于特定问题哪些架构有用、哪些架构无用。

1.3 损失函数与优化器:配置学习过程的关键

一旦确定了网络架构，你还需要选择以下两个参数。

• 损失函数(目标函数)——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
• 优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD)的某个变体

具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。但是，梯度下降过程必须基于单个标量损失值。