摆脱肥宅,从我做起—day01

视频学习
在这里插入图片描述

为什么有些小样本数据集可以用很小的minibatch,好像有16,8的?
在这里插入图片描述

感觉就是平均的规则太“死板”,所以弄个加权。而普通加权又是另一种“死板”,所以用前面的所有“平均”代表当前数。之所以“指数”,是因为,按公式一层层套进去之后,其实就是一个和贝塔有关的指数。
在这里插入图片描述

同理,普通梯度下降,梯度更新也太“死板”,所以借用指数加权平均思想,来更新梯度。(视频有个球滚下碗的比喻,贝塔比喻摩擦,微分比喻加速度,所以“速度不会无止尽增加。不太理解

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值