作业习题3

最新推荐文章于 2022-10-31 17:16:21 发布

uvuvuvw

最新推荐文章于 2022-10-31 17:16:21 发布

阅读量56

点赞数 1

文章标签： java 开发语言

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/yf1374111659/article/details/126995632

版权

习题 3-2

在线性空间中，证明一个点 $x$ 到平面 $f(x;w)=w^{T}+b=0$ 的距离为 $|f(x;w)|/||w||$

证明:

设平面内有一点 $x^{'}$ ,使得 $x-x^{'}$ 垂直于此平面

又因为 $w$ 垂直于此平面,所以有 $x-x^{'}$ 平行于 $w$

即: $x-x^{'}=kw$ (k为常数)

因此点 $x$ 到平面距离为 $|k|||w||$

又 $w^{T}x^{'}+b=f(x;w)$

$w^{T}x^{'}+b=0$

所以 $f(x;w)=w^{T}(x-x^{'})$

带入 $kw$

$f(x;w)=w^{T}kw$

两边同时取模:

$|f(x;w)|=||w|||k|||w||$

$|k|\left \| w \right \|=\frac{f(x;w)}{\left \| w \right \|}$

所以距离为 $\frac{f(x;w)}{\left \| w \right \|}$

习题 3-5

在Logistic回归中，是否可以用 $\widehat{y}=\sigma (w^{T}x)$ 去逼近正确的标签 $y$ ,并用平方损失 $(y-\widehat{y})^{2}$ 最小化来优化参数 $w$ ？

答:

在以sigmoid为激活函数时，不能使用平方损失作为loss function，效果远不如cross entropy。

(1)当以平方损失作为loss function时：

$L=\frac{1}{2}(\widehat{y}-y)^{2}$

$\frac{\delta L}{\delta w}=(\widehat{y}-y)\sigma ^{'}x$

$w=w-\eta \frac{\delta L}{\delta w}=w-\eta (\widehat{y}-y)\sigma ^{'}x$

sigmod函数如图所示:

可以看出当横坐标较小或较大时，sigmoid函数趋于平缓，因此在大多数情况下其导数几乎为0，导致 $\frac{\delta L}{\delta w}$ 几乎为0， $w$ 很难去优化。

(2)以cross entropy作为loss function时：

$\sigma ^{'}=\sigma \cdot (1-\sigma )y=\sigma (w^{T}x)$

$L=-yln\widehat{y}-(1-y)ln(1-\widehat{y})$

$\frac{\delta L}{\delta w}=-y\frac{1}{\widehat{y}}\sigma ^{'}x-(1-y)\frac{1}{1-\widehat{y}}(-1)\sigma ^{'}x$

$=-\frac{y\sigma (1-\sigma)x(1-\widehat{y})}{\widehat{y}(1-\widehat{y})}+\frac{(1-y)\widehat{y}\sigma (1-\sigma )x}{\widehat{y}(1-\widehat{y})}$

$=\frac{\widehat{y}\sigma (1-\sigma )x-y\sigma (1-\sigma )x}{\widehat{y}(1-\widehat{y})}$

$=\frac{(\widehat{y}-y\sigma (1-\sigma )x)}{\widehat{y}(1-\widehat{y})}$

$=(\widehat{y}-y)x$

可以看到梯度公式中没有 σ′ 这一项，权重受到误差 (y^−y) 的影响，所以当误差大的时候，权重更新快；当误差小的时候，权重更新慢。这是一个很好的性质。

所以当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不用均方误差损失函数。

习题3-6

在Softmax回归的风险函数（公式（3.39））中，如果加上正则化项会有什么影响？

公式3.39: $R(W)=-\frac{1}{N}\sum_{n=1}^{N}(y^{(n)})^{T}log\widehat{y}^{(n)}$

加入正则化后:

$R(W)=-\frac{1}{N}\sum_{n=1}^{N}(y^{(n)})^{T}log\widehat{y}^{(n)}+\lambda W^{T}W$

则 $\frac{\delta R(W)}{\delta W}=-\frac{1}{N}\sum_{n=1}^{N}(\widehat{y}^{(n)}-y^{(n)})x^{(n)}+2\lambda W$

更新参数后: $W=W+\alpha \frac{1}{N}\sum_{n=1}^{N}(\widehat{y}^{(n)}-y^{(n)})x^{(n)}-2\lambda W$

加入正则化后，在更新参数时每次需要减去 $2\lambda W$ ，使得参数不会太大，便不会造成溢出之类的错误发生，同时也会抑制过拟合。

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
作业习题3

在线性空间中，证明一个点到平面的距离为证明:设平面内有一点,使得垂直于此平面又因为垂直于此平面,所以有平行于即:(k为常数)因此点到平面距离为又所以带入两边同时取模:所以距离为。
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。