深度学习入门（八） 多层感知机

前言

核心内容来自博客链接1博客连接2希望大家多多支持作者
本文记录用，防止遗忘

感知机

给定输入$x$，权重$w$和偏移$b$，感知机输出

$$o=\sigma (<w,x>+b)\sigma (x)=\{\begin{array}{ll}1& \text{if x>0}\\ 0or-1& \text{otherwise}\end{array}$$
$\sigma$函数的选择有很多

二分类：-1或1 ， 0或1

• 线性回归输出实数
• softmax回归输出概率

训练感知机

$$\begin{gathered} initialw=0andb=0 \\ repeat \\ if{y}_i\cdot [<w,x_i>+b]\le 0then \\ w\leftarrow w+y_i{x}_{i}andb\leftarrow b+y_i \\ endif \\ untilallclassifiedcorrectly \end{gathered}$$
$$y_i\cdot [<w,x_i>+b]<0表示分类错误$$
等价于使用批量大小为1的梯度下降，并使用如下损失函数
$$loss(y,\mathbf{x},\mathbf{w})=\max (0,-y<\mathbf{w},\mathbf{x}>)$$
该损失函数的意思是各点到超平面的距离之和

收敛定理

1、数据在半径r内

2、余量$\rho$分类两类
$y({\mathbf{x}}^T\mathbf{w}+b)\ge \rho$
对于$||{\mathbf{w}}^2+b^2\le 1||$
3、感知机保证在$\frac{r^2+1}{{\rho }^2}$步后收敛

XOR问题

（Minsky&Paper，1969）
感知机不能拟合XOR函数，它只能产生线性分割面：

总结

• 感知机是一个二分类模型，是最早的Al模型之一
• 它的求解算法等价于使用批量大小为l的梯度下降
• 它不能拟合XOR函数，导致的第一次AI寒冬

多层感知机

学习XOR

学习一条蓝色线：根据x值，分为两部分
学习一条黄色线：根据y值，分为两部分
等到两个分类器后，对两个分类器进行与运算，可以得到正确分类。

单隐藏层

$$隐藏层大小是一个超参数$$

单分类

$\cdot$输入$x\in {\mathbb{R}}^n$
$\cdot$隐藏层${\mathbf{W}}_1\in {\mathbb{R}}^{m\times n},{\mathbf{b}}_1\in {\mathbb{R}}^m$
$\cdot$输出层${\mathbf{w}}_2\in {\mathbb{R}}^m,{\mathbf{b}}_2\in \mathbb{R}$
$\mathbf{h}=\sigma ({\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)$
$o={{\mathbf{w}}_2}^T\mathbf{h}+b_2$
$\sigma$是按元素的激活函数

为什么需要非线性激活函数？
若$sigma(x)=x$本身，
则$o={{\mathbf{w}}_2}^T{\mathbf{W}}_1\mathbf{x}+b^{’}$仍然是线性，等价于单层感知机

sigmoid激活函数

将输出投影到(0,1)是一个软(soft)的$\sigma (x)=\{\begin{array}{ll}1& \text{if x>0}\\ 0& \text{otherwise}\end{array}$
$$sigmoid(x)=\frac{1}{1+\exp (-x)}$$
对于一个定义域在中的输入， sigmoid函数将输入变换为区间(0, 1)上的输出。 因此，sigmoid通常称为挤压函数（squashing function）： 它将范围（-inf, inf）中的任意输入压缩到区间（0, 1）中的某个值：

在最早的神经网络中，科学家们感兴趣的是对“激发”或“不激发”的生物神经元进行建模。 因此，这一领域的先驱可以一直追溯到人工神经元的发明者麦卡洛克和皮茨，他们专注于阈值单元。 阈值单元在其输入低于某个阈值时取值0，当输入超过阈值时取值1。

当人们逐渐关注到到基于梯度的学习时， sigmoid函数是一个自然的选择，因为它是一个平滑的、可微的阈值单元近似。 当我们想要将输出视作二元分类问题的概率时， sigmoid仍然被广泛用作输出单元上的激活函数 （你可以将sigmoid视为softmax的特例）。 然而，sigmoid在隐藏层中已经较少使用， 它在大部分时候被更简单、更容易训练的ReLU所取代。 在后面关于循环神经网络的章节中，我们将描述利用sigmoid单元来控制时序信息流的架构。

下面，我们绘制sigmoid函数。 注意，当输入接近0时，sigmoid函数接近线性变换。

y = torch.sigmoid(x)
d2l.plot(x.detach(), y.detach(), 'x', 'sigmoid(x)', figsize=(5, 2.5))

sigmoid函数的导数为下面的公式：

sigmoid函数的导数图像如下所示。 注意，当输入为0时，sigmoid函数的导数达到最大值0.25； 而输入在任一方向上越远离0点时，导数越接近0。

# 清除以前的梯度
x.grad.data.zero_()
y.backward(torch.ones_like(x),retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of sigmoid', figsize=(5, 2.5))

Tanh激活函数

与sigmoid函数类似， tanh(双曲正切)函数也能将其输入压缩转换到区间(-1, 1)上。 tanh函数的公式如下：
$$\tanh (x)=\frac{1-\exp (-2x)}{1+\exp (-2x)}$$
下面我们绘制tanh函数。 注意，当输入在0附近时，tanh函数接近线性变换。 函数的形状类似于sigmoid函数， 不同的是tanh函数关于坐标系原点中心对称。

y = torch.tanh(x)
d2l.plot(x.detach(), y.detach(), 'x', 'tanh(x)', figsize=(5, 2.5))

tanh函数的导数是：

tanh函数的导数图像如下所示。 当输入接近0时，tanh函数的导数接近最大值1。 与我们在sigmoid函数图像中看到的类似， 输入在任一方向上越远离0点，导数越接近0。

# 清除以前的梯度
x.grad.data.zero_()
y.backward(torch.ones_like(x),retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of tanh', figsize=(5, 2.5))

ReLU激活函数

最受欢迎的激活函数是修正线性单元（Rectified linear unit，ReLU）， 因为它实现简单，同时在各种预测任务中表现良好。 ReLU提供了一种非常简单的非线性变换。 给定元素$x$，ReLU函数被定义为该元素与0的最大值：
$$ReLU(x)=\max (x,0)$$
通俗地说，ReLU函数通过将相应的活性值设为0，仅保留正元素并丢弃所有负元素。 为了直观感受一下，我们可以画出函数的曲线图。 正如从图中所看到，激活函数是分段线性的。

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.relu(x)
d2l.plot(x.detach(), y.detach(), 'x', 'relu(x)', figsize=(5, 2.5))

当输入为负时，ReLU函数的导数为0，而当输入为正时，ReLU函数的导数为1。 注意，当输入值精确等于0时，ReLU函数不可导。 在此时，我们默认使用左侧的导数，即当输入为0时导数为0。 我们可以忽略这种情况，因为输入可能永远都不会是0。 这里引用一句古老的谚语，“如果微妙的边界条件很重要，我们很可能是在研究数学而非工程”， 这个观点正好适用于这里。 下面我们绘制ReLU函数的导数。

y.backward(torch.ones_like(x), retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of relu', figsize=(5, 2.5))

使用ReLU的原因是，它求导表现得特别好：要么让参数消失，要么让参数通过。 这使得优化表现得更好，并且ReLU减轻了困扰以往神经网络的梯度消失问题（稍后将详细介绍）。

多类分类

$y_1,y_2,\dots ,y_k=softmax(o_1,o_2,\dots ,o_k)$
$\cdot$输入$x\in {\mathbb{R}}^n$
$\cdot$隐藏层${\mathbf{W}}_1\in {\mathbb{R}}^{m\times n},{\mathbf{b}}_1\in {\mathbb{R}}^m$
$\cdot$输出层${\mathbf{W}}_2\in {\mathbb{R}}^{m\times k},{\mathbf{b}}_2\in {\mathbb{R}}^{\mathbb{k}}$
$\mathbf{h}=\sigma ({\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)$
$\mathbf{o}={{\mathbf{W}}_2}^T\mathbf{h}+{\mathbf{b}}_2$
$\mathbf{y}=softmax(\mathbf{o})$

多隐藏层

${\mathbf{h}}_1=\sigma ({\mathbf{W}}_1\mathbf{x}+{\mathbf{b}}_1)$
${\mathbf{h}}_2=\sigma ({\mathbf{W}}_2{\mathbf{h}}_1+{\mathbf{b}}_2)$
${\mathbf{h}}_3=\sigma ({\mathbf{W}}_1{\mathbf{h}}_2+{\mathbf{b}}_3)$
$\mathbf{o}={{\mathbf{W}}_4}^T{\mathbf{h}}_3+{\mathbf{b}}_4$
超参数

• 隐藏层数
• 每层隐藏层的大小

总结

·多层感知机使用隐藏层和激活函数来得到非线性模型
·常用激活函数是Sigmoid，Tanh，ReLU
·使用Softmax来处理多类分类
·超参数为隐藏层数，和各个隐藏层大小

多层感知机（教材）

1 隐藏层

我们在前面描述了仿射变换， 它是一种带有偏置项的线性变换。 首先，回想一下如 图中所示的softmax回归的模型架构。 该模型通过单个仿射变换将我们的输入直接映射到输出，然后进行softmax操作。 如果我们的标签通过仿射变换后确实与我们的输入数据相关，那么这种方法确实足够了。 但是，仿射变换中的线性是一个很强的假设。

1.1 线性模型可能会出错

例如，线性意味着单调假设： 任何特征的增大都会导致模型输出的增大（如果对应的权重为正）， 或者导致模型输出的减小（如果对应的权重为负）。 有时这是有道理的。 例如，如果我们试图预测一个人是否会偿还贷款。 我们可以认为，在其他条件不变的情况下， 收入较高的申请人比收入较低的申请人更有可能偿还贷款。 但是，虽然收入与还款概率存在单调性，但它们不是线性相关的。 收入从0增加到5万，可能比从100万增加到105万带来更大的还款可能性。 处理这一问题的一种方法是对我们的数据进行预处理， 使线性变得更合理，如使用收入的对数作为我们的特征。

然而我们可以很容易找出违反单调性的例子。 例如，我们想要根据体温预测死亡率。 对于体温高于37摄氏度的人来说，温度越高风险越大。 然而，对于体温低于37摄氏度的人来说，温度越高风险就越低。 在这种情况下，我们也可以通过一些巧妙的预处理来解决问题。 例如，我们可以使用与37摄氏度的距离作为特征。

但是，如何对猫和狗的图像进行分类呢？ 增加位置处像素的强度是否总是增加（或降低）图像描绘狗的似然？ 对线性模型的依赖对应于一个隐含的假设， 即区分猫和狗的唯一要求是评估单个像素的强度。 在一个倒置图像后依然保留类别的世界里，这种方法注定会失败。

与我们前面的例子相比，这里的线性很荒谬， 而且我们难以通过简单的预处理来解决这个问题。 这是因为任何像素的重要性都以复杂的方式取决于该像素的上下文（周围像素的值）。 我们的数据可能会有一种表示，这种表示会考虑到我们在特征之间的相关交互作用。 在此表示的基础上建立一个线性模型可能会是合适的， 但我们不知道如何手动计算这么一种表示。 对于深度神经网络，我们使用观测数据来联合学习隐藏层表示和应用于该表示的线性预测器。

1.2 在网络中加入隐藏层

我们可以通过在网络中加入一个或多个隐藏层来克服线性模型的限制， 使其能处理更普遍的函数关系类型。 要做到这一点，最简单的方法是将许多全连接层堆叠在一起。 每一层都输出到上面的层，直到生成最后的输出。 我们可以把前层看作表示，把最后一层看作线性预测器。 这种架构通常称为多层感知机（multilayer perceptron），通常缩写为MLP。 下面，我们以图的方式描述了多层感知机

这个多层感知机有4个输入，3个输出，其隐藏层包含5个隐藏单元。 输入层不涉及任何计算，因此使用此网络产生输出只需要实现隐藏层和输出层的计算。 因此，这个多层感知机中的层数为2。 注意，这两个层都是全连接的。 每个输入都会影响隐藏层中的每个神经元， 而隐藏层中的每个神经元又会影响输出层中的每个神经元。

然而， 具有全连接层的多层感知机的参数开销可能会高得令人望而却步。 即使在不改变输入或输出大小的情况下， 可能在参数节约和模型有效性之间进行权衡。

1.3 从线性到非线性

同之前的章节一样， 我们通过矩阵$X\in {\mathbb{R}}^{n\times b}$来表示$n$个样本的小批量， 其中每个样本具有$d$个输入特征。 对于具有$h$个隐藏单元的单隐藏层多层感知机， 用$\mathbf{H}\in {\mathbb{R}}^{n\times h}$表示隐藏层的输出， 称为隐藏表示（hidden representations）。 在数学或代码中，$\mathbf{H}$也被称为隐藏层变量（hidden-layer variable） 或隐藏变量（hidden variable）。 因为隐藏层和输出层都是全连接的， 所以我们有隐藏层权重${\mathbf{W}}^{(1)}\in {\mathbb{R}}^{d\times h}$和隐藏层偏置${\mathbf{b}}^{(1)}\in {\mathbb{R}}^{1\times h}$以及输出层权重${\mathbf{W}}^{(2)}\in {\mathbb{R}}^{h\times q}$和输出层偏置${\mathbf{b}}^{(2)}\in {\mathbb{R}}^{1\times q}$。 形式上，我们按如下方式计算单隐藏层多层感知机的输出 ：$\mathbf{O}\in {\mathbb{R}}^{n\times q}$
$$\begin{gathered} \mathbf{H}=\mathbf{X}{\mathbf{W}}^{(1)}+{\mathbf{b}}^{(1)} \\ \mathbf{O}=\mathbf{H}{\mathbf{W}}^{(2)}+{\mathbf{b}}^{(2)} \end{gathered}$$
注意在添加隐藏层之后，模型现在需要跟踪和更新额外的参数。 可我们能从中得到什么好处呢？ 你可能会惊讶地发现：在上面定义的模型里，我们没有好处！ 原因很简单：上面的隐藏单元由输入的仿射函数给出， 而输出（softmax操作前）只是隐藏单元的仿射函数。 仿射函数的仿射函数本身就是仿射函数， 但是我们之前的线性模型已经能够表示任何仿射函数。

我们可以证明这一等价性，即对于任意权重值， 我们只需合并隐藏层，便可产生具有参数$\mathbf{W}={\mathbf{W}}^{(1)}{\mathbf{W}}^{(2)}$和$\mathbf{b}={\mathbf{b}}^{(1)}{\mathbf{W}}^{(2)}+{\mathbf{b}}^{(2)}$的等价单层模型：

为了发挥多层架构的潜力， 我们还需要一个额外的关键要素： 在仿射变换之后对每个隐藏单元应用非线性的激活函数（activation function）$\sigma$。 激活函数的输出（例如，$\sigma (\cdot )$）被称为活性值（activations）。 一般来说，有了激活函数，就不可能再将我们的多层感知机退化成线性模型：
$$\begin{gathered} \mathbf{H}=\sigma (\mathbf{X}{\mathbf{W}}^{(1)}+{\mathbf{b}}^{(1)}) \\ \mathbf{O}=\mathbf{H}{\mathbf{W}}^{(2)}+{\mathbf{b}}^{(2)} \end{gathered}$$
由于$X$中的每一行对应于小批量中的一个样本， 出于记号习惯的考量， 我们定义非线性函数$\sigma$也以按行的方式作用于其输入， 即一次计算一个样本。 我们之前以相同的方式使用了softmax符号来表示按行操作。 但是在本节中，我们应用于隐藏层的激活函数通常不仅按行操作，也按元素操作。 这意味着在计算每一层的线性部分之后，我们可以计算每个活性值， 而不需要查看其他隐藏单元所取的值。对于大多数激活函数都是这样。

为了构建更通用的多层感知机， 我们可以继续堆叠这样的隐藏层

1.4 通用近似定理

多层感知机可以通过隐藏神经元，捕捉到输入之间复杂的相互作用， 这些神经元依赖于每个输入的值。 我们可以很容易地设计隐藏节点来执行任意计算。 例如，在一对输入上进行基本逻辑操作，多层感知机是通用近似器。 即使是网络只有一个隐藏层，给定足够的神经元和正确的权重， 我们可以对任意函数建模，尽管实际中学习该函数是很困难的。 神经网络有点像C语言。 C语言和任何其他现代编程语言一样，能够表达任何可计算的程序。 但实际上，想出一个符合规范的程序才是最困难的部分。

而且，虽然一个单隐层网络能学习任何函数， 但并不意味着我们应该尝试使用单隐藏层网络来解决所有问题。 事实上，通过使用更深（而不是更广）的网络，我们可以更容易地逼近许多函数。 我们将在后面的章节中进行更细致的讨论。