- 博客(2)
- 收藏
- 关注
RSS订阅原创 gd,bgd,sgd,ogd,fobos,rda,ftrl
1.gd，bgd，sgd 1)每次迭代，更新每个权重w，都需要遍历所有样本数据，bgd，sgd不需要遍历所有样本，bgd用batch样本数据，sgd每次只用当前样本。 2)由于1)更新方式得出：bgd,sgd相对gd，迭代速度更快，收敛更快，更适合数据比较大的场景。 3)由于1)更新方式得出：gd，权重更新固定，得到全局最优值；bgd，sgd权重更新随样本变化，有可能得到的是近似
2016-12-26 14:39:45
1467
原创 lr正则项(稀疏性与泛化性)
1.参数衰减和稀疏性参数衰减，带来的好处是：通常来讲数据都具有一定波动性，减弱每个参数，防止某些参数过大，可以减弱数据varience带来的影响，防止过拟合，提高泛化能力。稀疏性，带来好处是：1)大幅减少计算；2)减少参数，防止过拟合，提高泛化能力2.l1和l2两种正则化1l可以带来参数衰减和稀疏性，l2只能带来参数衰减下图解释：
2016-12-23 19:25:42
2088
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人