NNDL第三章重点

第三章：线性模型

掌握交叉熵的意义以及在分类任务中的计算

熵是什么 一种理解说熵是最优编码长度，最省事的编码长度

交叉熵就是不是最优的，所以会变长，交叉熵就会变大
$$\begin{array}{cc}H\left(p,q\right)& =\sum _{i=1}^n{p}_i\cdot log(\frac{1}{q_i})>\sum _{i=1}^n{p}_i\cdot log(\frac{1}{p_i})\end{array}$$
所以交叉熵可以描述p和q之间的差异

--------------------------会有专门的文章来讲这件事

熟悉KL散度的意义，掌握其计算公式

KL散度是用概率分布q来近似p时所造成的信息损失量。
$$\begin{array}{rl}H\left(p,q\right)-H\left(p\right)& =\sum _{i=1}^n{p}_i\cdot log(\frac{1}{q_i})-\sum _{i=1}^n{p}_i\cdot log(\frac{1}{p_i})\\ & =\sum _{i=1}^n{p}_i\cdot log(\frac{p_i}{q_i})\end{array}$$

熟悉argmax方式与其它分类器的区别

$$y=\underset{c=1}{\mathrm{argmax}}{f}_c(\mathbf{x};{\mathbf{w}}_c)$$一对其余的改进版本

$$\begin{array}{rl}p(y=c|\mathbf{x})& =\mathrm{softmax}({\mathbf{w}}_c^{\top }\mathbf{x})=\frac{\exp ({\mathbf{w}}_c^{\top }\mathbf{x})}{{\sum }_{c^{\prime }=1}^C\exp ({\mathbf{w}}_{c^{\prime }}^{\top }\mathbf{x})}\end{array}$$

掌握分类问题中常用的若干损失函数

注意，平方损失不适用于二分类问题

对数几率回归，就是几率取对数，几率是正负概率之比

某种程度上回归与分类问题可以互相转换，回归问题取一个logistics就可以变成分类问题，分类问题取一个argmax就可以变成回归问题