单层神经网络

单层神经网络有线性回归和softmax回归。线性回归输出是一个连续值，因此适用于回归问题。而与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病诊断等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。下面我们依次介绍线性回归和softmax回归。

一、线性回归

1、模型训练

设房屋面积为$x_1$，房龄为$x_2$，售出的价格为$y$。我们需要建立基于输入$x_1$和$x_2$来计算$y$的表达式，也就是模型，模型如下所示：$$\hat{y}=x_1{w}_1+x_2{w}_2+b$$
其中$w_1$和$w_2$是权重，$b$是偏差，均为标量。他们是线性回归模型的参数。接下来我们要通过数据寻找特定的模型参数数值，使模型在数据上的误差尽可能小，这个过程叫做模型训练。下面我们介绍模型训练所涉及的三个要素。

1.1、训练数据

我们通常收集一系列的真实数据，我们在这个数据上寻找模型参数使模型预测价格和真实价格误差最小。这些数据集被称为训练数据集或训练集，数据集中的一个数据称为样本，样本中需要预测的结果称为标签，用来预测标签的因素称为特征。

1.2、损失函数

在模型训练中，我们需要衡量价格预测值和真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数，它在评估索引为$i$的样本误差的表达式为：
$$l^{(i)}(w_1,w_2,b)=\frac{1}{2}({\hat{y}}^{(i)}-y^{(i)}{)}^2$$
机器学习中，将衡量误差的函数称为损失函数。这里使用的平方误差也称为平方损失。
通常，我们用训练数据集中所有样本误差的平均来衡量模型预测的质量，即：$$l(w_1,w_2,b)=\frac{1}{n}\sum _{i=1}^n{l}^{(i)}(w_1,w_2,b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}(x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)}{)}^2$$
在模型训练中，我们希望找出一组模型参数，记为$w_1^{\ast },w_2^{\ast },b^{\ast }$，来使训练样本平均损失最小。

1.3、优化算法

1.3.1、解析解与数值解

解析解：当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来，这类解叫做解析解。
数值解：然而大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值，这类解叫做数值解。

1.3.2、小批量随机梯度下降

在求解数值解的优化算法中，小批量随机梯度下降在深度学习中被广泛应用。其优化算法如下：

1. 先选取一组模型参数（$w_1$和$w_2$）的初始值，如随机选取；
2. 接下来对参数进行多次迭代，是每次迭代都尽可能降低损失函数的值。每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量$\beta$，然后求小批量数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减少量。
   在本节讨论的线性回归模型的过程中，模型的每个参数将做如下迭代：
   $$w_1\leftarrow w_1-\frac{\eta }{\left|\beta \right|}\sum _{i\in \beta }\frac{\partial l^{(i)}(w_1,w_2,b)}{\partial w_1}=w_1-\frac{\eta }{\left|\beta \right|}\sum _{i\in \beta }{x}_1^{(i)}(x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)})$$
   $$w_2\leftarrow w_2-\frac{\eta }{\left|\beta \right|}\sum _{i\in \beta }\frac{\partial l^{(i)}(w_1,w_2,b)}{\partial w_2}=w_1-\frac{\eta }{\left|\beta \right|}\sum _{i\in \beta }{x}_2^{(i)}(x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)})$$
   $$b\leftarrow b-\frac{\eta }{\left|\beta \right|}\sum _{i\in \beta }\frac{\partial l^{(i)}(w_1,w_2,b)}{\partial b}=b-\frac{\eta }{\left|\beta \right|}\sum _{i\in \beta }(x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)})$$

在上式中，$\left|\beta \right|$代表每个小批量中的样本个数（批量大小），$\eta$称作学习效率并取正数。这里的批量大小和学习效率的值是人为设定的，因此称为超参数。我们通常所说的“调参”指的正是调节超参数。

2、模型预测

模型训练完之后，我们将模型参数$w_1,w_2,b$在优化算法停止时的值分别记作${\hat{w}}_1,{\hat{w}}_2,\hat{b}$。注意，我们这里得到的并不一定是最小化损失函数的最优解$w_1^{\ast },w_2^{\ast },b^{\ast }$，而是对最优解的一个近似。然后我们就可以使用学出的线性回归模型来估算训练数据集以外任意一个样本的标签了。

二、softmax回归

对于离散值的预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归输出单元从一个变为多个，且引入softmax运算使输出更适合离散值得预测和训练。

1、softmax回归模型

softmax和线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。假设模型中一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的$w$）、偏差包含三个标量（带下标的$b$），且对每个输入计算$o_1,o_2,o_3$这三个输出：
$$o_1=x_1{w}_{11}+x_2{w}_{21}+x_3{w}_{31}+x_4{w}_{41}+b_1$$
$$o_2=x_1{w}_{12}+x_2{w}_{22}+x_3{w}_{32}+x_4{w}_{42}+b_2$$
$$o_3=x_1{w}_{13}+x_2{w}_{23}+x_3{w}_{33}+x_4{w}_{43}+b_3$$

2、softmax运算

softmax运算通过下式将输出值变换为正且和为1的概率分布：
$${\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3=softmax(o_1,o_2,o_3)$$
其中
$${\hat{y}}_1=\frac{exp(o_1)}{{\sum }_{i=1}^{3}exp(o_i)},{\hat{y}}_2=\frac{exp(o_2)}{{\sum }_{i=1}^{3}exp(o_i)},{\hat{y}}_3=\frac{exp(o_3)}{{\sum }_{i=1}^{3}exp(o_i)}$$
其中${\hat{y}}_1+{\hat{y}}_2+{\hat{y}}_3=1$且$0\le {\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3\le 1$。

3、交叉熵损失函数

对于样本$i$,我们构造向量${\mathbf{y}}^{(\mathbf{i})}$，使其第$y^{(i)}$个元素为1，其余为0。这样我们的训练目标可以设为使预测概率分布${\hat{\mathbf{y}}}^{(\mathbf{i})}$尽可能接近真实的标签概率分布${\mathbf{y}}^{(\mathbf{i})}$。
我们可以像线性回归那样使用平方损失函数。然而，想要预测分类结果正确，我们其实并不需要预测概率完全等于标签概率。所以我们使用更适合衡量两个概率分布差异的测量函数。其中交叉熵是一个常用的衡量方法：
$$H({\mathbf{y}}^{(\mathbf{i})},{\hat{\mathbf{y}}}^{(\mathbf{i})})=-\sum _{j=1}^q{y}_j^{(i)}log{\hat{y}}_j^{(i)}$$
其中带下标的$y_j^{(i)}$是向量${\mathbf{y}}^{(\mathbf{i})}$中非0即1的元素。在上式中，我们知道向量${\mathbf{y}}^{(\mathbf{i})}$中只有第$y^{(i)}$个元素$y_{y^{(i)}}^{(i)}$为1，其余全为0，于是：
$$H({\mathbf{y}}^{(\mathbf{i})},{\hat{\mathbf{y}}}^{(\mathbf{i})})=-log{\hat{y}}_{y^{(i)}}^{(i)}$$
交叉熵只关心正确类别的预测概率，因为只要其值足够大，就可以保证分类结果的正确。
假设训练集样本数为$n$，交叉熵损失函数定义为：
$$l(\theta )=\frac{1}{n}\sum _{i=1}^{n}H({\mathbf{y}}^{(\mathbf{i})},{\hat{\mathbf{y}}}^{(\mathbf{i})})$$
其中$\theta$代表模型参数。同样地，如果每个样本只有一个标签，那么交叉熵损失可以简写成：
$$l(\theta )=-\frac{1}{n}\sum _{i=1}^{n}log{\hat{y}}_{y^{(i)}}^{(i)}$$
从另一个角度来看，我们知道最小化$l(\theta )$等价于最大化：$$exp(-nl(\theta ))=\prod _{i=1}^n{\hat{y}}_{y^{(i)}}^{(i)}$$
即最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。

4、优化算法

同样使用小批量随机梯度下降来优化模型的损失函数。（可以参考上文）

5、模型预测及评价

在训练好softmax回归模型后，给定任一样本特征，就可以预测每一个输出类别的概率。通常，我们把预测概率最大的类别作为输出类别。如果它与真实类别（标签）一致，说明预测是正确的。我们使用准确率来评价模型的表现，它等于正确预测数量与总预测数量之比。