机器学习基础
Artyze
你知道dota的artyzee吗?
展开
-
yolo中增加L1及L2正则化
动量更新:动量更新的公式为:首先参考caffe中动量更新的方式:case Caffe::CPU: { //计算公式:data = local_rate * diff + moment * old_data caffe_cpu_axpby(net_params[param_id]->count(), local_rate, ...原创 2019-02-26 15:51:00 · 2343 阅读 · 4 评论 -
关于L1和L2正则化的考虑
前面通过学习大致知道了L1和L2正则化的作用:L1正则化:会使权重中的某些值在训练过程中变为0,从而达到使网络稀疏化的效果L2正则化:极小的概率会使权重变为0,但是同样能够使权重相比他拟合数据集后应该成为的值变得更小,从而减小过拟合的风险,所以从这个角度来看,L1正则化同样具有一定的防止过拟合的效果,毕竟都已经稀疏了。那么我们就从L1和L2的公式来看一下为什么L1具有稀疏化的作用:...原创 2019-02-26 19:49:48 · 473 阅读 · 0 评论