【NNDL 作业二】

叶雨柳光

已于 2022-09-24 01:06:55 修改

阅读量120

点赞数 1

文章标签： html 前端

于 2022-09-24 00:59:51 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_56164577/article/details/127020323

版权

习题3-2：在线性空间中，证明一个点 $x$ 到平面 $f(x;w) = w^{T}x + b = 0$ 的距离为 $\frac{|f(x;w)|}{||w||}$ .证明：设平面内有一点 $x^{'}$ ，使得 $x-$ $x^{'}$ 垂直于此平面

设平面内有一点 $x'$ ，使得 $x-x'$ 垂直于此平面

又因为 $w$ 垂直于此平面，所以有 $x-x'$ 平行于 $w$

即： $x-x'=kw$ （ $k$ 为常数）

因此点 x 到平面距离为 |k|‖w‖

又 $w^{T}x+b=f(x;w)$ ， $w^{T}x'+b=0$

所以 $f(x;w)=w^{T}(x-x')$

带入 $kw$

$f(x;w)=w^{T}kw$

两边同时取模：

$|f(x;w)|=||w|| |k|||w||$ $|k|||w||=\frac{f(x;w)}{||w||}$

证毕

习题3-5：在Logistic回归中，是否可以用 $\hat{y} = \sigma (w^{T}x)$ 去逼近正确的标签 $y$ ,并用平方损失 $(y-\hat{y})^{2}$ 最小化来优化参数 $w$ ？

第一种情况，使用平方损失函数作为激活函数时：

$L = \frac{1}{2}(\hat{y} - y)^{2}$

$\frac{\partial L}{\partial w} = (\hat{y} - y)\sigma ^{'}x$

$w = w - \eta \frac{\partial L}{\partial w} = w - \eta (\hat{y} - y)\sigma ^{'}x$

由于 $Sigmoid$ 函数的横纵坐标趋于较大或较小时，函数值趋于平缓，因此大多数情况下几乎为0， $w$ 很难去优化。

第二种情况，当以交叉熵损失作为损失函数时：

$\sigma ^{'} = \sigma (1-\sigma )y = \sigma (w^{T}x)$

$L = -yln\hat{y} - (1-y)ln(1-\hat{y})$

$\frac{\partial L}{\partial w} = -y\frac{1}{\hat{y}}\sigma ^{'}x - (1-y)\frac{1}{1-\hat{y}}(-1)\sigma 'x = -\frac{y\sigma (1-\sigma )x(1-\hat{y})}{\hat{y}(1-\hat{y})} + \frac{(1-y)\hat{y}\sigma (1-\sigma )x}{\hat{y}(1-\hat{y})}$

$=\frac{\hat{y}\sigma (1-\sigma )x - y\sigma (1-\sigma )x}{\hat{y}(1-\hat{y})}$ $=\frac{ (\hat{y}-y)\sigma (1-\sigma )x}{\hat{y}(1-\hat{y})}$ $=\frac{(\hat{y}-y)\hat{y}(1-\hat{y})x}{\hat{y}(1-\hat{y})}$ $=(\hat{y}-y)x$

当误差大的时候，权重更新快

当误差小的时候，权重更新慢

习题3-6：在Softmax回归的风险函数（公式（3.39））中，如果加上正则化项会有什么影响？

公式3.39

加入正则化：

于是有：

更新参数时：

结论：加入正则化后，在更新参数时每次需要减去 2λW ，使得参数不会太大，因此不会造成溢出之类的错误发生。

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【NNDL 作业二】

设平面内有一点，使得垂直于此平面又因为垂直于此平面，所以有平行于即：（为常数）因此点 x 到平面距离为 |k|‖w‖又，所以带入两边同时取模：证毕第一种情况，使用平方损失函数作为激活函数时：由于函数的横纵坐标趋于较大或较小时，函数值趋于平缓，因此大多数情况下几乎为0，很难去优化。第二种情况，当以交叉熵损失作为损失函数时：当误差大的时候，权重更新快当误差小的时候，权重更新慢公式3.39加入正则化：于是有：更新参数时：结论：加入正则化后，在更新参数时每次需要减去 2
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。