动手深度学习-3.4 softmax回归

分类包含两种情况：1.我们只关心样本属于哪个列别(硬分类)；2.我们希望得到样本属于每个类别的概率(软分类)。

3.4.1 分类问题

表示与类别之间的自然顺序无关的分类标签的方法：独热编码，类别对应的分量设置为1，其他所有分量设置为0。

3.4.2 网络架构

为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数，每个输出对应于每个类别的条件概率。
通过向量形式表达运算过程为$\mathbf{o}=\mathbf{Wx}+\mathbf{b}$

3.4.3 全连接层的参数开销

具有$d$个输入和$q$个输出的全连接层的参数开销为$\mathcal{O}(dq)$，可以将d个输入转换为q个输出的参数开销减少到$\mathcal{O}(\frac{dq}{n})$，其中超参数$n$可以由我们灵活指定。

3.4.4 softmax运算

softmax函数：1.能够将为规范化的预测变换为非负数并且总和为1；2.不会改变未规范化的预测之前的大小顺序；3.让模型保持可导的性质。
$$\hat{\mathbf{y}}=softmax(\mathbf{o})，其中{\hat{y}}_j=\frac{exp(o_j)}{{\sum }_k^{}exp(o_j)}$$
且$\underset{j}{\mathrm{argmax}}{\hat{y}}_j=\underset{j}{\mathrm{argmax}}{o}_j$

3.4.5 小批量样本的矢量化

为了提高计算下效率并且充分利用GPU，我们通常会对小批量样本的数据执行矢量计算。假设小批量样本的特征为$\mathbf{X}\in R^{n\times d}$，权重为$\mathbf{W}\in R^{d\times q}$，偏置为$\mathbf{b}\in R^{1\times q}$。softmax回归的矢量计算表达式为：
$$\mathbf{O}=\mathbf{XW}+\mathbf{b}$$ $$\hat{\mathbf{Y}}=softmax(\mathbf{O})$$

3.4.6 损失函数

3.4.6.1 对数似然

softmax函数给出了一个向量$\hat{\mathbf{y}}$，我们可以将其视为“对给定任意输入$\mathbf{x}$的每个类的条件概率”。假设整个数据集{X, Y}具有n个样本，则最大似然函数为：
$$P(Y|X)=\prod _{i=1}^{n}P(y^{(i)}|x^{(i)})$$
根据最大似然估计，我们最大化$P(Y|X)$，相当于最小化负对数似然：
$$-logP(Y|X)=\sum _{i=1}^n-logP({\mathbf{y}}^{(i)}|{\mathbf{x}}^{(i)})=\sum _{i=1}^{n}l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)})$$
其中，对于任何标签$\mathbf{y}$和模型预测$\hat{\mathbf{y}}$，损失函数为：
$$l(\mathbf{y},\hat{\mathbf{y}})=-\sum _{j=1}^q{y}_{j}log{\hat{y}}_j$$

3.4.6.2 softmax及其导数

利用softmax的定义，我们得到：
$$\begin{gathered} l(\mathbf{y},\hat{\mathbf{y}})=-\sum _{j=1}^q{y}_{j}log\frac{exp(o_j)}{{\sum }_{k=1}^{q}exp(o_k)} \\ =\sum _{j=1}^q{y}_{j}log\sum _{k=1}^{q}exp(o_k)-\sum _{j=1}^q{y}_i{o}_j \end{gathered}$$
相对于任何未规范化的预测$o_j$的导数：
$${\partial }_{o_j}l(\mathbf{y},\hat{\mathbf{y}})=\frac{exp(o_j)}{{\sum }_{k=1}^{q}exp(o_k)}-y_j=softmax(\mathbf{o}{)}_j-y_j$$

3.4.7 信息论基础

3.4.7.1 熵

在信息论中，分布P的熵可以通过以下方程得到：
$$H[P]=\sum _j-P(j)logP(j)$$

3.4.7.1 信息量

一个事件的信息量就是这个事件发生概率的负对数。概率越低，信息量越大。
$$I(j)=log\frac{1}{P(j)}=-log(P(j))$$

3.4.8 模型预测和评估

我们使用精度来评估模型的性能，精度等于正确预测数与预测总数之间的比率。