斯坦福cs224n作业3上

a:第一问
在这里插入图片描述
答:这种方式会使梯度变化不太大,方差小,减小震荡,可以更好地找到最小值。在这里插入图片描述
第二问:在这里插入图片描述
答: v \sqrt{v} v 会使小的值变大,大的值变小,从而梯度小的地方会得到更大的更新,梯度大的地方会得到更小的更新,减少震荡。
b:
在这里插入图片描述

在这里插入图片描述
第一问:
因为有
在这里插入图片描述
所以
在这里插入图片描述
所以有 γ = 1 1 − p drop \gamma = \frac 1 {1- p_{\text{drop}}} γ=1pdrop1
问题2:
首先什么是dropout:
在这里插入图片描述
dropout是一种正则化技术,可以减少过拟合,增加泛化性。而在评估过程中,我们需要参数和一致输出之间的所有连接,所以不需要使用dropout。
参考:【CS224n】(assignment3)Adam和Dropout
深度学习中Dropout原理解析

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值