其他
p0ther
这个作者很懒,什么都没留下…
展开
-
Norm技术
bn 缺点:训练预测mean/var不一致问题,每个batch的mean/var不一致才好,依赖于mini-batch,需要每个batch内的数据分布一致(要对数据做打乱),对rnn网络不友好 好处:因为是mini-batch相关的,所以引入了一定的噪声,提升了模型鲁棒性,缓解了过拟合 ln 适用于rnn网络,不依赖于mini-batch wn bn/ln归一化特征,wn归一化权重,把权重分解成参数向量和参数标量,但这个操作增大了很多需要计算的参数,引入wn会增加很多计算量 ...原创 2021-12-13 17:04:06 · 1188 阅读 · 0 评论 -
算法题复习提高篇
是原创 2021-07-08 10:17:43 · 286 阅读 · 0 评论 -
一些知识记录
BN 作用:加速收敛,缓解梯度消失(拉回sigmod梯度大的区域),在一定的程度上引入了噪声,起到了一点抗过拟合的作用,但用到了每个mini batch的yi'jie原创 2021-06-03 14:45:36 · 95 阅读 · 0 评论