作业2：第三章课后题

最新推荐文章于 2023-10-08 15:27:52 发布

cdd04

最新推荐文章于 2023-10-08 15:27:52 发布

阅读量95

点赞数 1

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_59158839/article/details/127019320

版权

3-2 在线性空间中，证明一个点x到 $f(x;w)=w_{T}x+b=0$ 的距离为 $|f(x;w)|/||w||$ .

答：设平面有一点x1使得x-x1垂直于该平面，又w垂直于该平面，故(x-x1)//w,得

$x-x1=kw$ （k为常数），因此点x到平面距离为|k| ||w||。

又 $w_{T}x+b=f(x;w)$ ，

$w_{T}x1+b=0$

得 $f(x;w)=w_{T}\left ( x-x1 \right )$ ,将 $x-x1=kw$ 带入得 $f(x;w)=w_{T}kw$

两边同时取模：

$|f(x;w)|=||w|| |k| ||w||$

|k| ||w||=|f(x;w)|/||w||,证毕

3-5 在Logistic回归中，是否可以用 $\hat y=\sigma (w_{T}x)$ 去逼近正确的标签y，并用平方损失 $(y-\hat y)^2$ 最小化来优化参数w？

答：以sigmoid为激活函数时，不能使用平方损失优化参数。

如图，可以看出当横坐标较小或较大时，sigmoid函数趋于平缓，因此在大多数情况下其导数几乎为0，导致 w 很难去优化。

3-6 在Softmax回归的风险函数中，如果加上正则化项会有什么影响？

答：公式 $R\left ( w \right )=-\frac{1}{N}\sum_{n=1}^{N}(y^{(n)})^{T}log \hat{y}^{(n)}+\lambda W^{T}W$ ,加入正则化后：

$R\left ( w \right )=-\frac{1}{N}\sum_{n=1}^{N}(y^{(n)})^{T}log \hat{y}^{(n)}+\lambda W^{T}W$ ,

$\frac{\vartheta R(W)}{\vartheta W}=-\frac{1}{N}\sum_{n=1}^{N}(\hat{y}^{(n)}-y^{(n)})x^{(n)}+2\lambda W$ ,

更新参数时， $W=W+\alpha \frac{1}{N}\sum_{n=1}^{N}(\hat{y}^{(n)}-y^{(n)})x^{(n)}-2\lambda W$

加入正则化后，在更新参数时每次需要减去 2λW ，使得参数不会太大，便不会造成溢出之类的错误发生，同时也会抑制过拟合。

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
作业2：第三章课后题

线性分类
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。