机器学习

编码能力
实现经典的机器学习方法。这是我的github项目，用python+numpy实现了常见的机器学习算法：mazefeng/ml · GitHub。前段时间还年少轻狂，用c++实现了smo算法来训练SVMs，结果和libsvm还是有很大差距的(主要是训练时间上)。mazefeng/svm · GitHub。
数学基础
线性代数：看过的大部分ml算法都是用linear algebra的terminology进行描述的。有线性代数基础，在没有看懂paper的情况下，还是有可能根据伪代码实现文中算法的。
概率与统计：有助于理解最大似然估计(MLE)，最大后验概率(MAP)，正则化等ML中很重要的概念。所谓的最大似然估计，大多数情况下，就是counting。
数值优化(进阶)：注意不是凸优化，就是数值优化。学了这个之后，你就会了解，所谓的(stochastic/online/mini-batch) gradient descent方法，其实就是渣。梯度下降其实就是steepest descent的简化版本，阉割了line search。光是line search，就值得花几节课的时间大讲特讲。更别提像conjugate gradient descent这样高级的一阶算法，以及牛顿法(Newton’s method)/拟牛顿法(Quasi-Newton/L-BFGS/OWL-QN)等逆天的二阶算法。
凸优化：很重要，但是没有系统的学习过，在此不误人子弟。
相关书籍
机器学习 by Tom Mitchell：虽然内容旧了点，但是很经典。
Machine Learning: A Probabilistic Perspective by Kevin Murphy：知识点很全，但是讲得太浅。包含统计学派和贝叶斯学派。
统计学习方法：Li Hang老师写的书，写的很好，绝对领先于国内ML书籍。
统计学习基础(ESLII)：统计学派写的书，作者是Stanford统计系的几位大牛。
模式识别与机器学习(PRML)：贝叶斯学派写的书，作者是M$的Bishop。
ICML/NIPS/KDD等顶会的经典paper。
最后要默默吐槽下《Machine Learning in Action》这本书，写的实在是一般。
转载 知乎【机器学习，在理论和编程方面要如何准备？】马泽锋：补上回答楼主编码能力的问题：————————————… http://www.zhihu.com/question/26616053/answer/33454647 （分享自知乎网）