深度学习
文章平均质量分 69
郑壮强
machine learning; deep learning; computer vision;
展开
-
【机器学习】深度学习自适应学习率
【机器学习】深度学习自适应学习率momentum动量nesterov动量AdamgradRmspropAdammomentum动量nesterov动量AdamgradRmspropAdam原创 2019-10-23 10:49:26 · 1607 阅读 · 0 评论 -
【深度学习】防止梯度消失的方法
【机器学习】深度学习防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化(防止梯度爆炸)深度网络容易出现梯度消失问题,造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的乘积(例如∂loss∂w2=∂loss∂z3∂z3∂w3=∂loss∂z3a2(z3=w2a2)\frac{\partial{loss}}{\partial w_2} = ...原创 2019-09-03 19:56:28 · 1579 阅读 · 0 评论 -
【深度学习】卷积相关
【深度学习】卷积相关感受野receptive field (RF)感受野receptive field (RF)特征图上某点的感受野:输入空间与该点有关的区域。层数越深,感受野的区域越大。计算公式为:lk=lk−1+[(fk−1)∗∏i=1k−1si]l_{k} = l_{k-1}+ \left [ (f_{k}-1)*\prod_{i=1}^{k-1}s_{i} \right ]lk=l...原创 2020-01-03 14:38:49 · 276 阅读 · 0 评论