动手学深度学习（一）：回归和多层感知机

线性回归

1、线性回归与分类

线性回归输出是一个连续值，在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。
分类问题中模型的最终输出是一个离散值。图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。

2、模型

设房屋的面积为 x1 ，房龄为 x2 ，售出价格为 y 。需要建立基于输入 x1 和 x2 来计算输出 y 的表达式：y’=x1w1+x2w2+b
（w1 和w2是权重，b是偏差）

接下来需要寻找合适的参数值，使得误差尽可能小。房屋的面积和房龄分别代表x1和x2，即为特征，真实的售出价格称为标签，一栋房子就是一个样本。假设采集的样本数为n，则索引为i的房屋，线性回归表达式为：

损失误差：衡量价格预测值与真实值之间的误差，这里用的是平方损失

目的：最小化损失误差，找到一组参数w1,w2,b,来使训练样本平均损失最小。

3、优化算法

通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。

其中小批量随机梯度下降被广泛使用。原理：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch） β，然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。

在上式中， |β| 代表每个小批量中的样本个数（批量大小，batch size）， η 称作学习率

4、模型预测

模型训练完成后，我们将模型参数 w1,w2,b 在优化算法停止时的值分别记作 ŵ 1,ŵ 2,b，然后代入式子中，得到的y即为模型预测值。

softmax回归

和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。

1、模型

考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为 x1,x2,x3,x4 。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以用4像素表示出这3种动物），这些标签分别对应离散值 y1,y2,y3 。

因此一共有4种特征和3种输出动物类别


目的：将值最大的输出所对应的类作为预测输出，即输出最大的oi。如果 o1,o2,o3 分别为 0.1,10,0.1 ，由于 o2 最大，那么预测类别为2，其代表猫。之后可采用该值占所有值的比率来代表最大的预测值。

2、损失函数：交叉熵损失函数

其中带下标的 y(i)j 是向量 y(i) 中非0即1的元素。交叉熵只关心对正确类别的预测概率，因为只要其值足够大，就可以确保分类结果正确。因此，最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。

3、模型预测

在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。把预测概率最大的类别作为输出类别。如果它与真实类别（标签）一致，说明这次预测是正确的。

通常用准确率来评价模型的表现，它等于正确预测数量与总预测数量之比。

多层感知机（MLP）

1、隐藏层

多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。

输入和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元。隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。因此，多层感知机中的隐藏层和输出层都是全连接层。

具体来说，给定一个小批量样本 X∈ℝ(n×d) ，其批量大小为 n ，输入个数为 d 。假设多层感知机只有一个隐藏层，其中隐藏单元个数为 h 。记隐藏层的输出（也称为隐藏层变量或隐藏变量）为 H ，有 H∈ℝ(n×h) 。因为隐藏层和输出层均是全连接层，可以设隐藏层的权重参数和偏差参数分别为 Wh∈ℝ(d×h) 和 bh∈ℝ(1×h )，输出层的权重和偏差参数分别为 Wo∈ℝ(h×q )和 bo∈ℝ(1×q) 。

2、激活函数

全连接层只是对数据做仿射变换，而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数。
（1）ReLU函数
它只保留正数元素，并将负数元素清零

（2）sigmoid函数
它可以将元素的值变换到0和1之间


（3）tanh（双曲正切）函数
它可以将元素的值变换到-1和1之间


3、多层感知机
多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。多层感知机按以下方式计算输出：

其中 ϕ 表示激活函数。在分类问题中，我们可以对输出 O做softmax运算，并使用softmax回归中的交叉熵损失函数。 在回归问题中，我们将输出层的输出个数设为1，并将输出 O 直接提供给线性回归中使用的平方损失函数。