李沐动手学习深度学习——4.5练习

在这里插入图片描述
在这里插入图片描述

1. 在本节的估计问题中使用λ的值进行实验。绘制训练和测试精度关于λ的函数。观察到了什么?

在这里插入图片描述
修改代码运行如图所示,可以发现对于lamda值的变化而言,对于训练loss和测试loss的影响不大。但是如果λ 太大后,train和test的loss会变得很大,太小后,train的loss会低,但是test的loss会很高。

2. 使用验证集来找到最佳值λ。它真的是最优值吗?这有关系吗?

不是,因为验证集上数据与其他数据集的数据可能不同,lamda只是对于验证数据集的最优值,而不是泛化情况下的最优值。关系上,只是划分数据降低超参数之间的影响,实现事件发生的独立而已,能够提高模型泛化能力。

3. 解答

L ( w , b ) = 1 n ∑ i = 1 n 1 2 ( w T x ( i ) + b − y i ) 2 + λ 2 ∣ w ∣ δ ∑ i ∣ w i ∣ δ ∣ w i ∣ = s g n ( w i ) w ← w − η λ s g n ( w i ) − η ∣ B ∣ ∑ i ∈ B x ( i ) ( w T x ( i ) + b − y ( i ) ) \begin{split} L(w, b)&=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{2}(w^{T}x^{(i)} +b-y^{i})^{2}+\frac{\lambda }{2}|w|\\ \frac{\delta\textstyle \sum_{i}^{}|w_{i}| }{\delta|w_{i}|} &= sgn(w_{i})\\ w& \gets w-\eta \lambda sgn(w_{i}) - \frac{\eta}{|\mathrm{B}|}\sum_{i\in \mathrm{B}}x^{(i)}(w^{T}x^{(i)}+b-y^{(i)}) \end{split} L(w,b)δwiδiwiw=n1i=1n21(wTx(i)+byi)2+2λw=sgn(wi)wηλsgn(wi)BηiBx(i)(wTx(i)+by(i))

4. 解答

Frobenius 本质上就是 ||w||2

5. 解答

dropout层处理过拟合问题

6. 解答

在这里插入图片描述

  • 9
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pengshi12138

加油加油

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值