机器学习（一）概述

何为机器学习？

机器学习是从数据中提取知识，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是统计学、人工智能和计算机科学交叉的研究领域，也被称为预测分析(predictive analytics)或统计学习(statistical learning)。

机器学习的定义

1.机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
2.机器学习是对能通过经验自动改进的计算机算法的研究。
3.机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。

基于学习方式的分类

(1)监督学习(有导师学习)：输人数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数。
(2)无监督学习(无导师学习)：输入数据中无导师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等。
(3)强化学习(增强学习)：以环境反惯(奖/惩信号)作为输人，以统计和动态规划技术为指导的一种学习方法。

发展历程

机器学习实际上已经存在了几十年或者也可以认为存在了几个世纪。追溯到17世纪，贝叶斯、拉普拉斯关于最小二乘法的推导和马尔可夫链，这些构成了机器学 习广泛使用的工具和基础。1950年(艾伦.图灵提议建立一个学习机器)到2000年初 (有深度学习的实际应用以及最近的进展，比如2012年的AlexNet)，机器学习有了很大的进展。

从20世纪50年代研究机器学习以来，不同时期的研究途径和目标并不相同，可以划分为四个阶段。

第一阶段是20世纪50年代中叶到60年代中叶，这个时期主要研究“有无知识的学习”。这类方法主要是研究系统的执行能力。这个时期，主要通过对机器的环境及其相应性能参数的改变来检测系统所反馈的数据，就好比给系统一个程序，通过改变它们的自由空间作用，系统将会受到程序的影响而改变自身的组织，最后这个系统将会选择一个最优的环境生存。在这个时期最具有代表性的研究就是
Samuet的下棋程序。但这种机器学习的方法还远远不能满足人类的需要。

第二阶段从20世纪60年代中叶到70年代中叶，这个时期主要研究将各个领域的知识植入到系统里，在本阶段的目的是通过机器模拟人类学习的过程。同时还采用了图结构及其逻辑结构方面的知识进行系统描述，在这一研究阶段，主要是用各种符号来表示机器语言，研究人员在进行实验时意识到学习是一个长期的过程，从这种系统环境中无法学到更加深入的知识，因此研究人员将各专家学者的知识加入到系统里，经过实践证明这种方法取得了一定的成效。在这一阶段具有代表性的工作有Hayes-Roth和Winson的对结构学习系统方法。

第三阶段从20世纪70年代中叶到80年代中叶，称为复兴时期。在此期间，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和学习方法，且在本阶段已开始把学习系统与各种应用结合起来，并取得很大的成功。同时，专家系统在知识获取方面的需求也极大地刺激了机器学习的研究和发展。在出现第一个专家学习系统之后，示例归纳学习系统成为研究的主流，自动知识获取成为机器学习应用的研究目标。1980 年，在美国的卡内基梅隆(CMU)召开了第一届机器学习国际研讨会，标志着机器学习研究已在全世界兴起。此后，机器学习开始得到了大量的应用。1984 年，Simon等20多位人工智能专家共同撰文编写的Machine Learning文集第二卷出版，国际性杂志Machine Learning创刊，更加显示出机器学习突飞猛进的发展趋势。这一阶段代表性的工作有Mostow的指导式学习、Lenat的数学概念发现程序、Langley的BACON程序及其改进程序。

第四阶段从20世纪80年代中叶到现在,是机器学习的最新阶段。这个时期的机器学习具有如下特点：
(1)机器学习已成为新的学科，它综合应用了心理学、生物学、神经生理学、数学、自动化和计算机科学等形成了机器学习理论基础。
(2)融合了各种学习方法，且形式多样的集成学习系统研究正在兴起。
(3)机器学习与人工智能各种基础问题的统一性观点正在形成。
(4)各种学习方法的应用范围不断扩大，部分应用研究成果已转化为产品。
(5)与机器学习有关的学术活动空前活跃。

学习方法与资源

基本算法：
支持向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性分析、人工神经网络和BP算法、PCA、过拟合与正则化等。
学习资源：
机器学习的第一门课程首推Andrew Ng的机器学习。这门课程有以下特点：难度适中，同时有足够的实战例子，非常适合第一次学习的人。cs229 这门课程我这里不推荐，为什么，原因有以下：
　　时间：cs229 的时间太早，一些知识已经跟不上当今的发展，目前最为火热的神经网络一笔带过。而Cousera上神经网络可是用了两个课时去讲的!而且非常详细;
　　教学：Ng在cs229 时候的教学稍显青涩，可能是面对网络教学的原因。有很多问题其实他都没有讲清楚，而且下面的人的提问其实也很烦躁，你往往不关心那些人的问题。这点在Coursera上就明显得到了改善，你会发现Ng的教学水平大幅度改善了，他会对你循循善诱，推心置腹，由浅入深的教学，在碰到你不明白的单词术语时也会叫你不要担心，更重要的，推导与图表不要太完善，非常细致清晰，这点真是强力推荐;
　　字幕：cs229 的字幕质量比Coursera上的差了一截。Coursera上中文字幕翻译经过了多人把关，质量很有保证;
　　作业：cs229 没有作业，虽然你可以做一些，但不会有人看。这点远不如Coursera上每周有deadline的那种作业，而且每期作业提交上去都有打分。更重要的是，每期作业都有实际的例子，让你手把手练习，而且能看到自己的成果，成就感满满!
　机器学习视频~吴恩达
　机器学习视频~李宏毅
　莫烦python
　机器学习算法实战

延申学习（人工智能学习路径）

第一阶段：数学包括三科，也都是考研的三科：高等数学／线性代数／概率论；

第二阶段：编程python工具库实战／python网络爬虫；

第三阶段：机器学习也就是基础知识，机器学习导论，机器学习入门／机器学习提升；

第四阶段：数据挖掘实战，只有掌握了数据挖掘处理，才能知道机器如何处理大数据的数据挖掘入门／数据分析实战；

第五阶段：深度学习，深度学习神经算法、深度学习网络与框架／深度学习项目实战。