机器学习中的最优化方法

今天面试的时候被问了最优化方法，

当时一愣，说了不太搭边的EM算法。。

估计太紧张了，忘了梯度下降法。

回来赶紧恶补一下，

关于机器学习方面，这个博客写得很好~

http://www.cnblogs.com/daniel-D/p/3377840.html

有梯度、jacobi矩阵（一阶偏导数）、hesse矩阵（二阶偏导数）基础知识，

看了看面试官提到的牛顿法。

（其实前天看了牛顿法的。。。当时紧张给忘了。。。）

那篇博客的泰勒展开式我觉得有点怪异，看了看百度百科，果然~

http://baike.baidu.com/link?url=ALuaTEInSs7HvC1ylyXdRH5l39JeGxjS-u1zymYLRtp5m-J2E0qFTMHtcWc_gCV7ODou1wQWyXfzRmeRt8MdnK

具体的大家可以看看相关博文~

记得本科的时候，团队里有人在看《最优化理论与算法》，现在翻了下目录，

发现最优化方法里有好多啊。假如有需要的大家可以看看这本书。