HBU_神经网络与深度学习 作业2 线性模型

---

写在前面的一些内容

本次习题来源于 神经网络与深度学习 pdf电子书的第90页和第91页（对应纸质版第77页和第78页）的习题3-2、习题3-5和习题3-6。
水平有限，难免有误，如有错漏之处敬请指正。

习题3-2

在线性空间中，证明一个点$\mathbf{x}$到平面$f(\mathbf{x};\mathbf{w})={\mathbf{w}}^T\mathbf{x}+b=0$距离为$|f(\mathbf{x};\mathbf{w})|/||\mathbf{w}||$。

答：
取平面$f(\mathbf{x};\mathbf{w})=0$中任意一点${\mathbf{x}}_0$作向量$\overrightarrow{{\mathbf{x}}_0\mathbf{x}}$，在平面法向量$\overrightarrow{\mathbf{n}}$（即$\mathbf{w}$）上的投影$d$满足
$$d=||\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||\cdot cos(\theta )$$其中$\theta$为$\overrightarrow{\mathbf{n}}$与$\overrightarrow{{\mathbf{x}}_0\mathbf{x}}$的夹角。
$$cos(\theta )=\frac{|\overrightarrow{{\mathbf{x}}_0\mathbf{x}}\cdot \mathbf{w}|}{||\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||||\mathbf{w}||}=\frac{|\overrightarrow{\mathbf{x}}\cdot \mathbf{w}-\overrightarrow{{\mathbf{x}}_0}\cdot \mathbf{w}|}{||\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||||\mathbf{w}||}=\frac{|f(\mathbf{x};\mathbf{w})-f({\mathbf{x}}_0;\mathbf{w})|}{||\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||||\mathbf{w}||}$$因为点在平面内${\mathbf{x}}_0$在平面$f(\mathbf{x};\mathbf{w})$内，所以$f({\mathbf{x}}_0;\mathbf{w})=0$，即
$$cos(\theta )=\frac{|f(\mathbf{x};\mathbf{w})|}{||\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||||\mathbf{w}||}$$将上式代入$d$，可得$$d=|f(\mathbf{x};\mathbf{w})|/||\mathbf{w}||$$

习题3-5

在Logistic回归中，是否可以用$\hat{y}=\sigma ({\mathbf{w}}^T\mathbf{x})$去逼近正确的标签$y$，并用平方损失$(y-\hat{y}{)}^2$最小化来优化参数$\mathbf{w}$？

答：和上一章的习题2-1类似，在分类问题中我们只关注在其中一类中正确的概率，而不关注对于其他类别的预测正确概率，所以在分类问题中不适用平平方损失函数。
综上。

习题3-6

在Softmax回归的风险函数
$$\mathcal{R}(\mathbf{W})=-\frac{1}{N}\sum _{n=1}^N({\mathbf{y}}^{(n)}{)}^{T}log{\hat{\mathbf{y}}}^{(n)}$$中，如果加上正则化项会有什么影响？

Softmax回归中使用的𝐶个权重向量是冗余的，即对所有的权重向量都减去一个同样的向量$v$，不改变其输出结果。因此，Softmax回归往往需要使用正则化来约束其参数。此外，我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题。