NNDL 作业2：第三章课后题

最新推荐文章于 2022-11-29 19:56:29 发布

Perfect(*^ω^*)

最新推荐文章于 2022-11-29 19:56:29 发布

阅读量66

点赞数 1

文章标签：机器学习深度学习人工智能

本文链接：https://blog.csdn.net/weixin_51668257/article/details/127000668

版权

这篇博客探讨了线性空间中点到平面距离的证明，以及Logistic回归中为何不适用平方损失函数。平方损失在sigmoid函数近似平坦时导致梯度接近零，不利于参数优化。相比之下，交叉熵损失函数能更好地适应sigmoid激活函数，特别是在处理分类问题时。此外，还讨论了Softmax回归中正则化项的影响，正则化有助于防止过拟合，通过调整权重更新规则限制参数过大。

摘要由CSDN通过智能技术生成

【习题3-2】：在线性空间中证明一个点x到平面 $f(x;w)=w^{T}x+b=0$ 的距离为 $\left | f(x;w) \right |/\left \| w \right \|$ .

证明：设平面内有一点x'使得 $x-x^{'}$ 垂直于此平面,又因为w垂直于此平面，所以有 $x-x^{'}$ 平行于w即 $x-x^{'}=kw$ (k为常数)

因此点x到平面的距离 $\left | k \right |\left \| w \right \|$

又 $w^{T}x+b=f(x;w)$

$w^{T}x^{'}+b=0$

所以 $f(x;w)=w^{T}(x-x^{'})$

带入kw

$f(x;w)=w^{T}kw$

两边同时取模:

$\left \| k \right \|\left \| w \right \|=\frac{f(x;w)}{\left \| w \right \|}$

证毕

【习题3-5】：在Logistic回归中，是否可以用 $\hat{y}=\sigma (w^{T}x)$ 去逼近正确的标签y,并用平方损失 $(y-\hat{y})^{2}$ 最小化来优化参数w？

答：先给出结论，在使用sigmoid为激活函数时不能使用平方损失作为loss function,效果远不如cross entropy

(1)当以平方损失作为loss function时：

$L=\frac{1}{2}(\hat{y}-y)^{2}$

$\frac{\partial L}{\partial w}=(\hat{y}-y)\sigma ^{'}x$

$w=w-\eta \frac{\partial L}{\partial w}=w-\eta (\hat{y}-y)\sigma ^{'}x$

由sigmoid函数图可知，横坐标较小或较大时，sigmoid函数趋于平缓，因此在大多数情况下其导数几乎为0，导致 $\frac{\partial L}{\partial w}$ 几乎为0，w很难去优化。

（2）以 cross entropy 作为 loss function时：

$\sigma ^{'}=\sigma .(1-\sigma )y=\sigma (w^{T}x)$

$L=-yln\hat{y}-(1-y)ln(1-\hat{y})$

$\frac{\partial L}{\partial w}=-y\frac{1}{\hat{y}}{\sigma }'x-(1-y)\frac{1}{1-\hat{y}}(-1){\sigma }'x$

$\frac{\partial L}{\partial w}=-\frac{y\sigma (1-\sigma )x(1-\hat{y})}{\hat{y}(1-\hat{y})}+\frac{(1-y)\hat{y}\sigma (1-\sigma )x}{\hat{y}(1-\hat{y})}$