深度学习：作业二

[习题3-2] 在线性空间中，证明一个点 x 到平面  的距离为 .

  

证明：

设平面内有一点 x′ ，使得 x−x′ 垂直于此平面

又因为 w 垂直于此平面，所以有 x−x′ 平行于 w

即： x−x′=kw （ k 为常数）

因此点 x 到平面距离为 |k|‖w‖

又 

所以 

带入 kw

两边同时取模：

|f(x;w)|=‖w‖|k|‖w‖

[习题3-5] 在Logistic回归中，是否可以用  去逼近正确的标签 y,并用平方损失  最小化来优化参数 w ？

不能

可以看到梯度公式中没有 σ′ 这一项，权重受到误差 (y^−y) 的影响，所以当误差大的时候，权重更新快；当误差小的时候，权重更新慢。这是一个很好的性质。

[习题3-6] 在Softmax回归的风险函数（公式（3.39））中，如果加上正则化项会有什么影响？ 

公式3.39： 

加入正则化后：

 

则 

更新参数时：

加入正则化后，在更新参数时每次需要减去 2λW ，使得参数不会太大，便不会造成溢出之类的错误发生，同时也会抑制过拟合。

加入正则化后：

R(W)=−1N∑n=1N(y(n))Tlog⁡y^(n)+λWTW

则 ∂R(W)∂W=−1N∑n=1N(y^(n)−y(n))x(n)+2λW

更新参数时：W=W+α1N∑n=1N(y^(n)−y(n))x(n)−2λW

加入正则化后，在更新参数时每次需要减去 2λW ，使得参数不会太大，便不会造成溢出之类的错误发生，同时也会抑制过拟合。