1.gd,bgd,sgd
1)每次迭代,更新每个权重w,都需要遍历所有样本数据,bgd,sgd不需要遍历所有样本,bgd用batch样本数据,sgd每次只用当前样本。
2)由于1)更新方式得出:bgd,sgd相对gd,迭代速度更快,收敛更快,更适合数据比较大的场景。
3)由于1)更新方式得出:gd,权重更新固定,得到全局最优值;bgd,sgd权重更新随样本变化,有可能得到的是近似值。
4)加l1正则后,由于gd权重更新固定,得到全局最优值,当最小值出现在w=0情况下,gd可以收敛于此,从而得到稀疏性,而由于bdg和sgd权重更新随样本变化,有可能得到的是近似值,所以很难得到稀疏性(正因如此,l1的求解方法如:简单截断、TG、FOBOS被常用到具体求解过程中)。