编码能力
实现经典的机器学习方法。这是我的github项目,用python+numpy实现了常见的机器学习算法:mazefeng/ml · GitHub。前段时间还年少轻狂,用c++实现了smo算法来训练SVMs,结果和libsvm还是有很大差距的(主要是训练时间上)。mazefeng/svm · GitHub。
数学基础
线性代数:看过的大部分ml算法都是用linear algebra的terminology进行描述的。有线性代数基础,在没有看懂paper的情况下,还是有可能根据伪代码实现文中算法的。
概率与统计:有助于理解最大似然估计(MLE),最大后验概率(MAP),正则化等ML中很重要的概念。所谓的最大似然估计,大多数情况下,就是counting。
数值优化(进阶):注意不是凸优化,就是数值优化。学了这个之后,你就会了解,所谓的(stochastic/online/mini-batch) gradient descent方法,其实就是渣。梯度下降其实就是steepest descent的简化版本,阉割了line search。光是line search,就值得花几节课的时间大讲特讲。更别提像conjugate gradient descent这样高级的一阶算法,以及牛顿法(Newton’s method)/拟牛顿法(Quasi-Newton/L-BFGS/OWL-QN)等逆天的二阶算法。
凸优化:很重要,但是没有系统的学习过,在此不误人子弟。
相关书籍
机器学习 by Tom Mitchell:虽然内容旧了点,但是很经典。
Machine Learning: A Probabilistic Perspective by Kevin Murphy:知识点很全,但是讲得太浅。包含统计学派和贝叶斯学派。
统计学习方法:Li Hang老师写的书,写的很好,绝对领先于国内ML书籍。
统计学习基础(ESLII):统计学派写的书,作者是Stanford统计系的几位大牛。
模式识别与机器学习(PRML):贝叶斯学派写的书,作者是M$的Bishop。
ICML/NIPS/KDD等顶会的经典paper。
最后要默默吐槽下《Machine Learning in Action》这本书,写的实在是一般。
转载 知乎【机器学习,在理论和编程方面要如何准备?】马泽锋:补上回答楼主编码能力的问题:————————————… http://www.zhihu.com/question/26616053/answer/33454647 (分享自知乎网)
机器学习
最新推荐文章于 2023-08-25 10:25:48 发布