机器学习（四）——常见优化方法

笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。

我的公众号为：livandata

1） 随机梯度下降：

2） 牛顿法：

3） 拟牛顿法：

4） 改进的迭代尺度法：

5） 拉格朗日乘子法：