*****************************************************************************************************************************************
原文链接:http://ml.memect.com/article/machine-learning-guide.html
基本概念
机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。
下面从微观到宏观试着梳理一下机器学习的范畴:一个具体的算法,领域进一步细分,实战应用场景,与其他领域的关系。
图1: 机器学习的例子:NLTK监督学习的工作流程图 (source: http://www.nltk.org/book/ch06.html)
图2: 机器学习概要图 by Yaser Abu-Mostafa (Caltech) (source: http://work.caltech.edu/library/181.html)
图3: 机器学习实战:在python scikit learn 中选择机器学习算法 by Nishant Chandra
(source: http://n-chandra.blogspot.com/2013/01/picking-machine-learning-algorithm.html)
图4: 机器学习和其他学科的关系: 数据科学的地铁图 by Swami Chandrasekaran (source: http://nirvacana.com/thoughts/becoming-a-data-scientist/)
入门攻略
按照原文的介绍,主要分为三大步骤:1.起步感悟,2.实战笔记,3.行家导读
-
1. 机器学习入门者学习指南 @果壳网 (2013) 作者 白马 -- [起步体悟] 研究生型入门者的亲身经历。
1. 在Coursera上学习Andrew Ng的《机器学习》课程,完成所有的作业,最好能全部拿满分。白马的评论是:老师讲的是深入浅出,不用太担心数学方面的东西。而且作业也非常适合入门者,都是设计好的程序框架,有作业指南,根据作业指南填写该完成的部分就行。这门课上完了,你基本上可以开始简单的应用各种机器学习技术了。
2. 独立完成一个小项目,最好再找一本稍微具体一点的关于机器学习的书籍,开始深入研究。可以按照白马的建议找一个开源的项目做做,白马看的书是李航的《统计学习方法》,并且这本书是从自然语言处理的角度来写的,此条的最后白马意见是2和3同时进行比较好,这需要充足的精力和大量的时间。
3. 修炼内功。包括线性代数,矩阵论,概率统计和优化算法等方面,白马原作贴图如下,以备份。并且是机器学习教父级别的人物Jordan推荐的书籍,都是内功秘密,需要认真研读。
优化
Numerical Optimization(Jorge Nocedal)
csdn下载地址:http://download.csdn.net/detail/xybingo/4120417,没有积分,如果谁有完本,麻烦评论以下,谢谢。
Convex Optimization(boyd)
备份下载地址:http://pan.baidu.com/s/14nFOy,斯坦福大学原书网站:http://web.stanford.edu/~boyd/cvxbook/
Convex Analysis(Rockafellar)
备份下载地址:http://pan.baidu.com/s/1jGCeLYQ
Convex Analysis and Nonlinear Optimizaiton Theory and Examples(Borwein)
没找到下载地址
线性代数,矩阵论,概率统计
Matrix Computation (golub)
备份下载地址:
http://pan.baidu.com/s/1c0wIarQ
Numerical Linear Algebra(Allaire)
没找到下载地址,有普林斯顿大学的学习网站:http://introcs.cs.princeton.edu/java/95linear/
Method of Multivariate Analysis(Rencher)
没找到下载地址。
Applied Multivariate Statistical Analysis(Hardle)
备份下载地址:http://pan.baidu.com/s/1mgpGdW8
Matrix Analysis and applied linear algebra, matrix analysis(Rajendra)
没有下载地址,官方网站:http://www.matrixanalysis.com/
Bayesian theory(Bernardo & Smith)
没有下载地址
Probalitity and Computing: Randomized Algorithms and Probabilistic Analysis(Mitzenmacher)
备份下载地址:http://pan.baidu.com/s/1nt25s29
Matrix Differential Calculus With Applications in Statistic and Econometrics(magnus)
没有下载地址
Spectral Graph Theory(Chung)
网站链接:http://www.math.ucsd.edu/~fan/research/revised.html
All of Statistic A Concise Course in Statistical Inference(Wasserman)
网站链接:http://www.stat.cmu.edu/~larry/all-of-statistics/
Porbability Theory The Logic of Science (jaynes)
CSDN英文原版下载地址:http://download.csdn.net/detail/harryxusu/1925470#comment,没有积分这里无法共享,但是可以在线看。
数理统计学简史(陈希孺)
备份下载地址:http://pan.baidu.com/s/1i3q2kyp
信息论
elements of information theory(cover)
备份下载地址:http://pan.baidu.com/s/1eQ2d8fo
Information Theory, Inference, and Learning Algorithms(Mackay)
备份下载地址:http://pan.baidu.com/s/1i3EOKIT。
实分析+测度论
测度论讲义+习题答案(严加安)
备份下载地址:http://pan.baidu.com/s/1eQ6Nw7C,习题答案:http://pan.baidu.com/s/1c04j7qC。
Real Analysis and Probability (R. M. Dudley)
备份下载地址:http://pan.baidu.com/s/1bnnW7Zx。
4. 放弃你的种子和妹子吧。。。
|
-
有没有做机器学习的哥们?能否介绍一下是如何起步的 @ourcoders -- [起步体悟] 研究生型入门者的亲身经历,尤其要看reyoung的建议,以下是reyoung的建议:
不要看网易的andrew ng公开课了。时间太久远,很多东西都不一样了(这个跟写程序也是一样的,太落后的东西没啥用,除非是经典问题)。看视频的话,看andrew ng在coursera的machine learning视频,14年machine learning的刚要开课,推荐报名,跟着上课,做课后习题和期末考试。(因为只看不干,啥都学不会)。。 另外,重点是你要学ML干什么?可选项有如下这些。给出一个选项,可以更针对性的说明应该学什么:
- 最快最方便的使用一个通用方法做一个分类器或者回归器(例如验证码识别,etc)
- 从理论上想改进某一种机器学习的学习算法或数据结构(模型)
- 更好的了解各种机器学习算法的特点,应对不同的问题,选择不同的方法。
- 利用现在的硬件产品(显卡,集群),更好的实现一套机器学习算法。
基本上上面这些都是学Machine learning的一些点,每个方向要学的东西都不一样(虽然基础还是基础),甚至很多方向不需要学,只需要用一些现成的东西就好。用现成的东西,好处就是速度快,成本小;坏处就是不明白细节。 只要学习机器学习,一定会看的书籍我推荐一下:
- Mitchell 的《机器学习》。Mitchell是机器学习的鼻祖,第一个提出机器学习概念的人。这本书很薄,很简单。内容很陈旧,但是都是机器学习的经典问题。而且,这本书概念清晰正确(很可贵啊,又简单又正确的书,说明作者功力很强)。
- Simon Haykin的《神经网络与机器学习》。 事实上,现在常见的很多机器学习算法都发端于神经网络,像SVM,深度学习,CNN等等。这本书详细的介绍了神经网络及其相关算法的所有细节。如果想深入了解的话,可以看一下。只想运用的话,也可以随便翻翻算法的介绍。
- AIMA,《人工智能:一种现代的方法》。基本上学术界的人们都认为机器学习是人工智能学科的下属分支(另一部分人认为是统计学或者数学的分支),所以,一本人工智能的书也是学习机器学习可以参考的方面。
另外,如果想找这方面的工作,尤其是大企业的工作,主要看你发了哪些论文,开发了哪些系统,而不是看你用XX开源软件多熟练。你懂的,毕竟熟练使用一个软件并不是这个领域的关键问题。 |
-
tornadomeet 机器学习 笔记 (2013) -- [实战笔记] 学霸的学习笔记,看看小伙伴是怎样一步一步地掌握“机器学习”,好好跟学霸学习机器学习,会有很大的收获。
-
Machine Learning Roadmap: Your Self-Study Guide to Machine Learning (2014) Jason Brownlee -- [行家导读] 虽然是英文版,但非常容易读懂。对Beginner,Novice,Intermediate,Advanced读者都有覆盖。
- A Tour of Machine Learning Algorithms (2013) 这篇关于机器学习算法分类的文章也非常好
- Best Machine Learning Resources for Getting Started(2013) 这片有中文翻译 机器学习的最佳入门学习资源 @伯乐在线 译者 programmer_lin
-
吴恩达在公开课上的讲课笔记网站:http://www.holehouse.org/mlclass/index.html
-
知乎回答精选
其实Matrix的知识只是工具,我觉得看了以上三本之后,对科研什么的绝对够用了。关键还要看你是做哪方面的应用,需要学习不同的matrix知识。
1. 数学基础 机器学习必要的数学基础主要包括:多元微积分,线性代数 2. 统计基础
下面是近期的给外行人读的泛数学科普书籍,由浅至深,作用除了感受数学之美之外,更重要的是可以作用每天学习的鸡血,因为这些书都比较好读…… 1.《数学之美》作者:吴军 |
*******************************************************************************************************************************