关闭

机器学习与数据挖掘的学习路线图

标签: 机器学习数据挖掘Weka
24332人阅读 评论(6) 收藏 举报
分类:

应部分朋友要求,特奉上“机器学习与数据挖掘的学习路线图”,供有兴趣的读者研究。

说起机器学习和数据挖掘,当然两者并不完全等同。如果想简单的理清二者的关系,不妨这样来理解,机器学习应用在数据分析领域 = 数据挖掘。同理,如果将机器学习应用在图像处理领域 = 机器视觉。当然这只是一种比较直白的理解,并不能见得绝对准确或者全面。我们权且这样处理。而且在本文后面若提到这两个名词,我们所表示的意思是一致的。

但无论是机器学习,还是数据挖掘,你一定听说过很多很多,名字叼炸天的传说中的,“算法”,比如:SVM,神经网络,Logistic回归,决策树、EM、HMM、贝叶斯网络、随机森林、LDA... ....其实还是很多很多!无论你排十大算法还是二十大算法,总感觉只触及到了冰山一角!真是学海无涯啊- -!!

当然,学习机器学习看书是必备的,总不能靠冥想吧。。。

有的书介绍机器学习,会是这样一种思路:就是单独的一个一个的算法介绍,介绍个十几个,一本书的篇幅差不多也就完了。

李航博士的那本《统计学习方法》基本属于这种套路。当然,该书在国内是备受推崇的一本。客观上讲,国人写这方面的书很少,而李博士的著作也不像其他那种大学教材一样东拼西凑,可谓良心之作。但就本书的思路来说,我认为:如果读者就单独的某一个算法想有所了解,参考该书应该会有收获。但系统化上还是优化空间的,比如从一个算法到另外一个算法,之间的联系是什么,推动算法更新和升级的需求又在哪里?

另外一种该类型的书,会把算法按照它们的实现的功能和目的,分成比如 Regression、Classification、Clustering等等等等的几类,然后各种讲可以实现聚类的算法有A、B、C,可以实现回归的有D、E、F。。。而且我们也知道,机器学习又可分为有监督、无监督以及半监督的,或者又可分为贝叶斯派和概率派两大阵营,所以按类别来介绍其中的算法也是一种很常见的思路。

这样的书代表作是Pang-Ning Tan, Michael Steinbach 和Vipin Kumar的那本《数据挖掘导论》,这样的书基本上对于构建一个大概的机器学习体系还是有裨益的。但是就初学者而言,其实这个体系还可以再优化。这也是我根据个人的一些经验想向各位介绍的一个基本的学习路线图,在我看来知识应该是有联系的,而不是孤立的, 找到这种内部隐藏的线索就如同获得了阿里巴巴的口诀,才能开启更大的宝藏。

当然,正式学习之前,你所需要的预备知识(主要是数学)应该包括:微积分(偏导数、梯度等等)、概率论与数理统计(例如极大似然估计、中央极限定理、大数法则等等)、最优化方法(比如梯度下降、牛顿-拉普什方法、变分法(欧拉-拉格朗日方程)、凸优化等等)——如果你对其中的某些名词感到陌生,那么就说明你尚不具备深入开展数据挖掘算法学习的能力。你会发现到处都是门槛,很难继续进行下去。

第一条线路:

(基于普通最小二乘法的)简单线性回归 -> 线性回归中的新进展(岭回归和LASSO回归)->(此处可以插入Bagging和AdaBoost的内容)-> Logistic回归 ->支持向量机(SVM)->感知机学习 -> 神经网络(初学者可先主要关注BP算法)-> 深度学习

之所以把它们归为一条线路,因为所有这些算法都是围绕着 y = Σxiβi,这样一条简单的公式展开的,如果你抓住这条线索,不断探索下去,就算是抓住它们之间的绳索了。其中蓝色部分主要是回归,绿色部分主要是有监督的分类学习法。

基于普通最小二乘的线性回归是统计中一种有着非常悠久历史的方法,它的使用甚至可以追溯到高斯的时代。但是它对数据有诸多要求,例如特征之间不能有多重共线性,而且岭回归和LASSO就是对这些问题的修正。

当沿着第一条路线学完的时候,其实你已经攻克机器学习的半壁江山了!当然,在这个过程中,你一定时刻问问自己后一个算法与前一个的联系在哪里?最初,人们从哪里出发,才会如此设计出它们的。

第二条路线:

K-means  -> EM  -> 朴素贝叶斯 -> 贝叶斯网络 -> 隐马尔科夫模型(基本模型,前向算法,维特比算法,前向-后向算法) (->卡尔曼滤波

这条线路所涉及的基本都是那些各种画来画去的图模型,一个学术名词是 PGM 。这条线的思路和第一条是截然不同的!贝叶斯网络、HMM(隐马尔科夫模型),也就是绿色字体的部分是这个线路中的核心内容。而蓝色部分是为绿色内容做准备的部分。K-means 和 EM 具有与生俱来的联系,认识到这一点才能说明你真正读懂了它们。而EM算法要在HMM的模型训练中用到,所以你要先学EM才能深入学习HMM。所以尽管在EM中看不到那种画来画去的图模型,但我还把它放在了这条线路中,这也就是原因所在。朴素贝叶斯里面的很多内容在,贝叶斯网络和HMM里都会用到,类似贝叶斯定理,先验和后验概率,边缘分布等等(主要是概念性的)。最后,卡尔曼滤波可以作为HMM的一直深入或者后续扩展。尽管很多machine learning的书里没把它看做是一种机器学习算法(或许那些作者认为它应该是信号处理中的内容),但是它也确实可以被看成是一种机器学习技术。而且参考文献[4]中,作者也深刻地揭示了它与HMM之间的紧密联系,所以红色的部分可以作为HMM的后续扩展延伸内容。


应用层面,R、MATLAB和Python都是做数据挖掘的利器,另外一个基于JAVA的免费数据挖掘工具是Weka,这个就只要点点鼠标,甚至不用编代码了。给一个软件界面的截图如下



可以参阅的书籍:

中文版(含翻译版)

1. 李航,统计学习方法

2. Pang-Ning Tan, Michael Steinbach  , Vipin Kumar, 数据挖掘导论

3. Peter Harrington 机器学习实践

英文版

4. Stuart Russell,  Peter Norvig, Artificial Intelligence : A Modern Approach(Third Edition)

5. Trevor Hastie, Robert Tibshirani,Jerome Friedman, The Elements of Statistical Learning:Data Mining, Inference, and Prediction


30
0
查看评论

机器学习之工程师入门路线

相信想学习机器学习的广大工程师们已经被那些算法大神的言论虐的怕怕的了吧?不用担心,我来带你们理理一个工程师需要入门机器学习,到底要走哪个路线? 一、 基础 不用多说,机器学习作为高门槛领域,基础还是需要的,但是也没有想得那么恐怖,很多人提问机器学习需要哪些数学知识,然后就会得到一大堆犹如天书般高大...
  • abv123456789
  • abv123456789
  • 2016-10-02 17:47
  • 3235

机器学习入门路径

本文主要参考Sunface-孙飞的博客,略加整理,希望对今后在机器学习这一方面有所指导和帮助。 一.机器学习算法的重要性     程序员是一个知识更新较为迅速的职业,这个行业的知识的更新速度,有时会超过你的学习速度。这里笔者要向读者介绍一下机器学习(包含深度学习)的重要性,以及常...
  • piaoxuezhong
  • piaoxuezhong
  • 2017-01-01 15:50
  • 1207

机器学习系列(7)_机器学习路线图(附资料)

1. 引言 也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而言点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩,这些功能的核心算法就是机器学习领域的内容。 机器学习研究...
  • longxinchen_ml
  • longxinchen_ml
  • 2016-02-28 11:55
  • 26306

机器学习系列(7)_机器学习路线图(附资料)

计算机从数据中学习出规律和模式,以应用在新数据上做预测的任务。近年来互联网数据大爆炸,数据的丰富度和覆盖面远远超出人工可以观察和总结的范畴,而机器学习的算法能指引计算机在海量数据中,挖掘出有用的价值,也使得无数学习者为之着迷。 我们不是专家,但说起算有一些从业经验,做过一些项目在实际数据上应用机器学...
  • yaoqiang2011
  • yaoqiang2011
  • 2016-02-28 11:54
  • 49496

【推荐】机器学习入门到进阶学习路线图

作者: 龙心尘 && 寒小阳  原文:http://blog.csdn.net/longxinchen_ml/article/details/50749614           http://blog...
  • qq_25650871
  • qq_25650871
  • 2016-05-27 23:13
  • 1397

机器学习的学习路径

一、为什么是列出一堆可以探索的书,而不是要去寻找一条路 机器学习的研究和应用已经有很长的时间了。随着人类的发展,数据和计算能力都在不断的增加,因此机器学习这几年变得异常火热,很多公司开始部署相关的部门。 常常在各种途径看到和多人问问题,有没有什么好的入门书籍或者资料;也看到一旦有前辈推荐一些好的...
  • Shadow_Mi
  • Shadow_Mi
  • 2016-07-05 15:58
  • 2074

我的机器学习路线

1.基础语言的学习目前我以python为主,matlab为辅助语言进行学习的。python语言的学习有很多的途径,我以北理的python语言系列教学视频(中国大学mooc)为主,学习路线为‘Python程序语...
  • ns2942826077
  • ns2942826077
  • 2018-02-16 21:42
  • 11

机器学习路线(转)

从图开始 我相信这张图很多人看过,作者是Swami Chandrasekran,点击图片可以放大这里要说的,是在MOOC中,怎么尽力完成这张图。也就是说有哪些MOOC和其中知识相关,让你通过上课的手段,逐渐接近成为一个数据科学家。  Fundamentals 基础...
  • marsggbo
  • marsggbo
  • 2017-04-18 13:34
  • 239

机器学习路线图(附资料)

也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而然点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩,这些功能的核心算法就是机器学习领域的内容。
  • guohecang
  • guohecang
  • 2017-03-13 14:20
  • 1067

学习与职业规划——机器学习的学习路径和职业规划(简单版)

第三章 机器学习的职业规划 一、含义与方法 1、本文所说的“职业规划”是指经过对自我的认知,和行业,公司,职业的认知,确定一个或者几个工作目标,并进行相应的差距分析和提升的过程。 2、职业规划可以理解为一个匹配的过程;将个人和众多的备选职位进行匹配。按照传统的职业相关理论...
  • u012556077
  • u012556077
  • 2015-07-31 22:08
  • 990
    个人资料
    • 访问:2338853次
    • 积分:27570
    • 等级:
    • 排名:第241名
    • 原创:338篇
    • 转载:15篇
    • 译文:0篇
    • 评论:4066条
    图像处理

      《图像处理中的数学修炼》
      图像处理书籍读者群
      (155911675)

      还未购入本书者,切勿尝试加群,本群谢绝吃瓜群众以及毫无诚信者围观,妄图浑水摸鱼的行为最终都只能自取其辱
    联系方式
  • 1. 在博客文章下留言,博客私信一律不回
  • 2. 邮件fzuo#foxmail.com,将#换成@。
    最新评论