NNDL作业二

最新推荐文章于 2023-09-25 23:33:16 发布

Stacey.933

最新推荐文章于 2023-09-25 23:33:16 发布

阅读量142

点赞数 1

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/staceey/article/details/127031050

版权

习题3-2

取平面 $f(x;\omega )=0$ 中任意一点 $x_{0}$ 做向量 $\underset{x_{0}x}{\rightarrow}$ ,其中点 $x$ 到平面的距离为向量 $\underset{x_{0}x}{\rightarrow}$ 在平面法向量 $\underset{n}{\rightarrow}$ 上的投影， $d=\left \| \underset{x_{0}x}{\rightarrow} \right \|\cdot \cos (\theta )$ ， $\theta$ 为 $\underset{n}{\rightarrow}$ 与 $\underset{x_{0}x}{\rightarrow}$ 的夹角（ $\leqslant 90^{o}$ )

$\begin{aligned} \cos (\theta) &=\frac{\left|\overrightarrow{x_{0} x} \cdot \omega\right|}{\left\|\overrightarrow{x_{0} x}\right\|\|\omega\|} \\ &=\frac{\left|\vec{x} \cdot \omega-\overrightarrow{x_{0}} \cdot \omega\right|}{\left\|\overrightarrow{x_{0} x}\right\|\|\omega \|} \\ &=\frac{\left|f(x ; \omega)-f\left(x_{0} ; \omega\right)\right|}{\left\|\overrightarrow{x_{0} x}\right\|\|\omega\|} \end{aligned}$

因为 $x_{0}$ 在平面 $f(x;\omega )$ 内，所以有

$\cos (\theta)=\frac{|f(x ; \omega)|}{\left\|\overline{x_{0} x}\right\|\|\omega\|}$

带入d中得

$\boldsymbol{d}=\frac{|f(\boldsymbol{x} ; \boldsymbol{\omega})|}{\|\boldsymbol{\omega}\|}$

习题3-5

可以用，但不太适用。最小化平方损失函数本质上等同于在误差服从高斯分布的假设下的极大似然估计，然而大部分分类问题的误差并不服从高斯分布。而且在实际应用中，交叉嫡在和Softmax激活函数的配合下,能够使得损失值越大导数越大，损失值越小导数越小，这就能加快学习速率。

然而若使用平方损失函数，则损失越大导数反而越小，学习速率很慢。在分类我们上我们往往只关注模型对数据的真实类别的预测概率而不关注对其他类别的预测概率。所以对分类问题来说，平方损失函数不太适用。

习题3-6

加上正则化后

$R(w)=-\frac{1}{N} \sum_{n-1}^{N}\left(y_{n}\right)^{T} \log \hat{y}_{n}+\lambda w^{T} w$

$\frac{\partial R(w)}{\partial w}=-\frac{1}{N} \sum_{n=1}^{N}\left(y_{n}-\hat{y}_{n}\right) x_{n}+2 \lambda w$

$\omega$ 的更新公式为

$w=w+a \frac{1}{N} \sum_{n-1}^{N}\left(y_{n}-\hat{y}_{n}\right) x_{n}-2 \lambda w$

在每次更新参数中都要减去 $2\lambda \omega$ ，使得新的参数不会太大，也不会造成溢出的错误发生，抑制了过拟合的发生。

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
NNDL作业二

深度学习作业二
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。