深度学习 作业二 第三章课后

习题3-2

在线性空间中，证明一个点 $\mathbf{x}$ 到平面$f(\mathbf{x};\mathbf{w})={\mathbf{w}}^T\mathbf{x}+b=0$ 的距离为 $|f(\mathbf{x};\mathbf{w})|/\Vert \mathbf{w}\Vert$ 。

解答：

首先我们要知道高中的几个公式(多的就算是拓展了)
$$\overrightarrow{a}\perp \overrightarrow{b}\to \overrightarrow{a}\ast \overrightarrow{b}=0,(1)$$$$cos<\overrightarrow{a},\overrightarrow{b}>=\frac{\overrightarrow{a}\cdot \overrightarrow{b}}{|\overrightarrow{a}||\overrightarrow{b}|},(2)$$$$d=\frac{|\overrightarrow{AB}\cdot \overrightarrow{n}|}{|\overrightarrow{n}|},(\overrightarrow{n}为平面a的法向量，AB是a的一条射线，d为点B的距离),(3)$$$$d=|\overrightarrow{AB}|cos\theta (\theta 是\overrightarrow{AB}与法向量\overrightarrow{n}的夹角)$$$$\overrightarrow{a}\cdot \overrightarrow{b}=|\overrightarrow{a}||\overrightarrow{b}|cos<\overrightarrow{a},\overrightarrow{b}>,(4)$$$$\overrightarrow{AB}=\overrightarrow{OB}-\overrightarrow{OA}=\overrightarrow{B}-\overrightarrow{A},(5)$$
然后我们推导一下，

取一个在平面上的一个点 ${\mathbf{x}}_0$ ，做向量 $\overrightarrow{{\mathbf{x}}_0\mathbf{x}}$ ，点 $\mathbf{x}$ 到平面的距离就是向量 $\overrightarrow{{\mathbf{x}}_0\mathbf{x}}$ 在平面法向量 $\overrightarrow{n}(就是\overrightarrow{\mathbf{w}})$ 上的投影。

根据公式（2）
$$\begin{array}{rl}cos<\overrightarrow{{\mathbf{x}}_0\mathbf{x}},\overrightarrow{\mathbf{w}}>& =\frac{\overrightarrow{{\mathbf{x}}_0\mathbf{x}}\cdot \overrightarrow{\mathbf{w}}}{|\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||\overrightarrow{\mathbf{w}}|}\\ & =\frac{\overrightarrow{\mathbf{x}}\cdot \overrightarrow{\mathbf{w}}-\overrightarrow{{\mathbf{x}}_0}\cdot \overrightarrow{\mathbf{w}}}{|\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||\overrightarrow{\mathbf{w}}|}\\ & =\frac{f(\mathbf{x};\mathbf{w})-f({\mathbf{x}}_0;\mathbf{w})}{|\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||\overrightarrow{\mathbf{w}}|}\\ & =\frac{f(\mathbf{x};\mathbf{w})-0}{|\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||\overrightarrow{\mathbf{w}}|}(x_0在平面上，所以f({\mathbf{x}}_0;\mathbf{w})=0)\\ & =\frac{f(\mathbf{x};\mathbf{w})}{|\overrightarrow{{\mathbf{x}}_0\mathbf{x}}||\overrightarrow{\mathbf{w}}|}\end{array}$$所以，将$cos<\overrightarrow{{\mathbf{x}}_0\mathbf{x}},\overrightarrow{\mathbf{w}}>$带入$d$得
$$d=\frac{|f(\mathbf{x};\mathbf{w})|}{|\mathbf{w}|}$$

习题3-5

在Logistic回归中，是否可以用 $y=\sigma ({\mathbf{w}}^T\mathbf{x})$ 去逼近正确的标签𝑦，并用平方损失 $(y-\hat{y}{)}^2$ 最小化来优化参数 $\mathbf{w}$ ？

解答：
$$\sigma (x)=\frac{1}{1+exp(-x)}$$可以用 $sigmoid$ 函数去逼近正确的标签，但是并不建议用均方误差来优化函数。
$$E=\frac{1}{2}\sum _{n=1}^N(y_n-{\hat{y}}_n{)}^2$$这里均方误差加入常数项是为了求导方便，并不影响最终的结果。
下面开始公式推导
$$\begin{gathered} \hat{y}=\sigma ({\mathbf{w}}^T\mathbf{x}) \\ \begin{array}{rl}\frac{\partial E}{\partial w}& =\sum _{n=1}^N(y_n-{\hat{y}}_n{)}^2{\hat{y}}_n(1-{\hat{y}}_n)x_n\end{array} \end{gathered}$$更新公式：
$$w=w-\mu \frac{\partial E}{\partial w}=w-\sum _{n=1}^N(y_n-{\hat{y}}_n{)}^2{\hat{y}}_n(1-{\hat{y}}_n)$$由$sigmoid$函数可以知道，值域位于$[0,1]$之内。所以最后所得出来${\sum }_{n=1}^N(y_n-{\hat{y}}_n{)}^2{\hat{y}}_n(1-{\hat{y}}_n)$函数值极小。更新速率贼慢，不适用。

习题3-6

在 Softmax 回归的风险函数（公式 (3.39)）中，如果加上正则化项会有什么影响？

解答：

加上正则化后：
$$R(w)=-\frac{1}{N}\sum _{n=1}^N(y_n{)}^{T}log{\hat{y}}_n+\lambda w^{T}w$$那么
$$\frac{\partial R(w)}{\partial w}=-\frac{1}{N}\sum _{n=1}^N(y_n-{\hat{y}}_n)x_n+2\lambda w$$$w$的更新公式为：
$$w=w+a\frac{1}{N}\sum _{n=1}^N(y_n-{\hat{y}}_n)x_n-2\lambda w$$在每次更新参数中都要减去$2\lambda w$，使得新的参数不会太大，也不会造成溢出的错误发生，抑制了过拟合的发生。

当然，Softmax回归中使用的𝐶个权重向量是冗余的，即对所有的权重向量都减去一个同样的向量 𝒗，不改变其输出结果。因此，Softmax回归往往需要使用正则化来约束其参数。此外，我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题

参考文章：邱锡鹏《神经网络与深度学习》—— 部分习题答案整理