- 博客(2)
- 收藏
- 关注
原创 gd,bgd,sgd,ogd,fobos,rda,ftrl
1.gd,bgd,sgd 1)每次迭代,更新每个权重w,都需要遍历所有样本数据,bgd,sgd不需要遍历所有样本,bgd用batch样本数据,sgd每次只用当前样本。 2)由于1)更新方式得出:bgd,sgd相对gd,迭代速度更快,收敛更快,更适合数据比较大的场景。 3)由于1)更新方式得出:gd,权重更新固定,得到全局最优值;bgd,sgd权重更新随样本变化,有可能得到的是近似
2016-12-26 14:39:45 1508
原创 lr正则项(稀疏性与泛化性)
1.参数衰减和稀疏性参数衰减,带来的好处是:通常来讲数据都具有一定波动性,减弱每个参数,防止某些参数过大,可以减弱数据varience带来的影响,防止过拟合,提高泛化能力。稀疏性,带来好处是:1)大幅减少计算;2)减少参数,防止过拟合,提高泛化能力2.l1和l2两种正则化1l可以带来参数衰减和稀疏性,l2只能带来参数衰减下图解释:
2016-12-23 19:25:42 2123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人