目录
一、概述
机器学习是人工智能的重要研究领域之一。
1.机器学习的基本概念
要了解么是机器学习，就要从人类的“学习”说起可以说人们每天都在学习，可是终究什么是学习，至今都没有一个统一的定义。以下是关于学习且比较有影响的定义：
1) 西蒙认为，学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好
2) 米哈尔斯基认为，学习是对经历描述的建议和修改。
3) 蔡普金认为，学习是一种过程，通过对系统重复输入各种信号，并从外部校正该系统，从而系统对特定的输入具有特定的响应。
综合众多观点，可以这样认为，学习是一个有特定目的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。
机器学习的定义是基于人的学习的，由于学习没有统一的定义，机器学习也没法给出严格的定义。从学科角度来讲，机器学习是研究如何让计算机来模拟人类学习活动的一门学科。
机器学习的主要研究内容：
主要目的是要通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种种问题。
主要目的是要从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习算法。
主要目的是要根据特定任务的要求，建立相应的学习系统。
2. 机器学习的发展历史
机器学习的发展大致可以分为4个时期，即热烈时期、冷静时期、复兴时期以及蓬勃时期。
20世纪50年代中叶到60年代初期，最具有代表性的工作是罗森勃拉特1957年提出的感知器模型。该时期研究的是“没有知识”的学习，其主要研究目标是各种自组织系统和自适应系统。
20世纪60年代中期到70年代中期。其主要研究目标是模拟人类的概念学习过程，温斯顿的结构学习系统和海斯、罗斯等人提出的基于逻辑的归纳学习系统是该时期的代表性工作。
•复兴时期
20世纪70年代中期到80年代中期，人们开始把机器学习与各种实际应用相结合，尤其是专家系统在知识获取方面的需求。
•蓬勃时期
自1986年起，机器学习进入了新阶段。神经网络的研究再度兴起，使得机器学习进入了连接学习的研究阶段，与此同时，传统的符号学习研究也取得了很大的发展。因此，把符号学习和连接学习结合起来的混合型学习系统研究已成为机器学习研究的一个新的热点。进入新阶段的机器学习主要表现如下：
1) 机器学习已经成为新的边缘学科，并在高校形成 一门课程。
2) 结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。
3) 机器学习与人工智能在各种基础问题上的统一观点正在形成。
4) 各种学习方法的应用范围不断扩大，一部分已经成为商品。归纳学习的知识获取工具已在诊 断分类专家系统中广泛使用。连接学习在声音、图文识别中占据优势。遗传算法与强化学习在 工程控制中有较好的应用前景。
5) 知识发现和数据挖掘的研究已形成热潮，并在生物学、金融管理、商业销售等领域得到成功 的应用，给机器学习注入了新活力。
6) 与机器学习有关的学术活动空前活跃。国际上除了每年一次的机器学习研讨会外，还有计算 机学习理论会议以及遗传算法会议。
3. 学习系统的基本模型
机器学习的实现依赖于学习系统，学习系统能够利用过去与环境作用时得到的信息并提高自身的性
能。学习系统的基本模型如下图示。环境是指学习系统进行学习时的信息来源；学习环节是将外界信息加工成知识的过程；知识库是以某种形式表示的知识的集合，用来存放学习环节所得的知识；执行环节是利用知识库中的知识完成某种任务的过程，并把完成任务过程中所获得的一些信息反馈给学习环节 。
4. 学习策略
机器学习的学习过程与推理过程是密切相关，按照学习中所使用的推理方法分类，可以将机器学习的学习策略分为：记忆学习、类比学习、传授学习、演绎学习、归纳学习和联络学习等。
二、记忆学习
记忆学习(Rote learning)也叫机械学习，是最简单的机器学习方法。该方法主要凭借记忆，即存储学习过的知识，供需要时检索调用，其特点是不再需要重新计算或推理。在记忆学习系统中，知识的获取是以较稳定和直接的方式进行的，不需要系统进行过多的加工。
记忆学习的基本过程是：执行元素每解决一个问题，系统就记住这个问题和它的解，当以后再遇到此类问题时，系统就不必重新进行计算，而可以直接找出原来的解去使用。
若把执行元素比作一个函数𝑓 f ，由环境得到的输入模式记为(𝑥1,𝑥2,…,𝑥𝑛)(x1,x2,…,xn)，由该输入模式经𝑓f计算后得到的输出模式记为(𝑦1,𝑦2,…,𝑦𝑚)(y1,y2,…,ym)，则机械学习系统就是要把这一输入输出模式对：
[(𝑥1,𝑥2,…,𝑥𝑛) ，(𝑦1,𝑦2,…,𝑦𝑚)][(x1,x2,…,xn) ，(y1,y2,…,ym)]
保存在知识库中，当以后再需要计算𝑓(𝑥1,𝑥2,…,𝑥𝑛)f(x1,x2,…,xn)时，就可以直接从存储器把(𝑦1,𝑦2,…,𝑦𝑚)(y1,y2,…,ym)检索出来，而不需要再重新进行计算。记忆学习系统 的模型如下图示
三、归纳学习
归纳学习是应用归纳推理进行学习的一种方法，即从一系列的示例中归纳出一般性的知识描述的过程。根据学习过程是否有指导教师可分为示例学习以及观察与发现学习。
1.示例学习
示例学习又称实例学习，它是通过环境中若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。它给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，并使这个描述适合于所有的正例，排除所有的反例。
- 示例学习的模型
示例学习的过程是：首先从示例空间中选择合适的训练示例，然后经解释过程得到一般性知识，最后再从示例空间中选择更多的示例对它进行验证，直到得到可实用的知识为止。示例学习的空间模型如下图示。
该空间模型是示例学习的基本模型，该模型包括两个主要空间和两个主要过程，它们分别是示例空间、规则空间、解释过程和验证过程。示例空间是我们向系统提供的示教例子的集合；解释过程是从搜索到的示例中抽象出一般性的知识的归纳过程；规则空间是事务所具有的各种规律的集合；验证过程是要从示例空间中选择新的示例，对刚刚归纳出的规则做进一步的验证和修改。
- 执行过程描述
依据双空间模型建立的归纳学习系统，其执行过程大致可以描述为：首先由施教者给实例空间提供一些初始示教例子，由于示教例子在形式上往往和规则形式不同，因此需要对这些例子进行转换，解释为规则空间接受的形式。然后利用解释后的例子搜索规则空间，由于一般情况下不能一次就从规则空间中搜索到要求的规则，因此还要寻找一些新的示教例子，这个过程就是选择例子 。程序会选择对搜索规则空间最有用的例子，对这些示教例子重复上述循环。如此循环多次，直到找到所要求的例子。
1) 示例空间
在双空间模型中，实例空间所要考虑的主要问题包括两个：一是示教例子的质量，另一个是实例空间的搜索方法。解释例子的目的是从例子中抽取出用于搜索规则空间的信息，也就是把示教例子变换成易于进行符号归纳的形式。选择例子就是确定需要哪些新的例子和怎样得到这些例子。
2) 规则空间
规则空间的目的是指定表示规则的操作符和术语，用以描述和表示规则空间中的规则，与之相关的两个问题是对规则空间的要求和规则空间的搜索方法。
归纳学习方法可分为以下两大类：
1) 单概念学习方法。典型的单概念学习系统包括米切尔(Tom Mitchell)的基于数据驱动的变形空间法，昆兰(J.R. Quinlan)的ID3方法，狄特利希(T.G. Dietterich)和米哈尔斯基(R.S. Michalski)提出的基于模型驱动的Induce算法。
2) 多概念学习方法。典型的多概念学习方法和系统有米哈尔斯基的AQ11、DENDRAL和AM程序等。多概念学习任务可以划分成多个单概念学习任务来完成。
多概念学习与单概念学习的差别在于多概念学习方法必须解决概念之间的冲突问题。
变形空间法是米切尔于1977年提出的一种数据驱动型的学习方法。该方法以整个规则空间为初始的假设规则合集𝐻H。根据示教例子中的信息，系统对集合𝐻H进行一般化或特殊化处理，逐步缩小集合𝐻H，最后使得𝐻H收敛到只含有要求的规则。由于被搜索的空间𝐻H逐渐缩小，故称为变形空间法。集合𝐻H由两个子集𝐺G和𝐻H所限定，子集𝐺G中的元素表示𝐻H中最一般的概念，子集𝑆S中的元素表示𝐻H中最特殊的概念，集合𝐻H由𝐺G、𝑆S及𝐺G与𝑆S之间的元素构成，即
𝐻=𝐺∪𝑆∪{𝑘|𝑆<𝐾<𝐺}H=G∪S∪{k|S<K<G}
式中<<表示变形空间中的偏序关系。米切尔的学习算法称为候选删除算法，算法中把尚未被数据排除的假设称为可能假设，把所有可能假设构成的集合H称为变形空间。该算法分为4个步骤。（1）把𝐻H初始化为整个规则空间。这时𝐺G仅包含空描述。𝑆S包含所有最特殊的概念。实际上为避免𝑆S集合过大，算法把𝑆S初始化为仅包含第一个示教正例。
（2）接受一个新的示教例子。如果这个例子是正例，则从𝐺G中删除不包含新例的概念，然后修改𝑆S为由新正例和𝑆S原有元素共同归纳出最特殊化的泛化。如果这个例子是反例，则从𝑆S中删去包含新例的概念，再对𝐺G进行尽量小的特殊化，使之不包含新例。
（3）重复（2）直到𝐺=𝑆G=S，且使这两个集合都只含有一个元素为止。
（4）输出𝐻H中的概念（即输出𝐺G或𝑆S）。
观察与发现学习分为观察学习与发现学习两种。前者用于对事例进行概念聚类，形成概念描述；后者用于发现规律，产生相应的规则。
概念聚类：
概念聚类是一种观察学习，是由米卡尔斯基(R.S.Michalski)在1980年首先提出来的。其基本思想是把实例按一定的方式和准则进行分组，如划分不同类，不同层次等，得到的分组代表着不同的概念，从每个分组中可以诱导出一个概念的语义符号描述。
例如对下列事例：
麻雀、乌鸦、喜鹊、鸡、鸭、鹅……可根据它们是否为家禽分为如下两类：
鸟=｛麻雀，乌鸦，喜鹊，…｝家禽=｛鸡，鸭，鹅，…｝这里，“鸟”“家禽”就是由聚类得到的新概念，并且根据相应动物的特征还可得知：
“鸟有羽毛，有翅膀，会飞，会叫，野生”
“家禽有羽毛，有翅膀，会飞，会叫，家养”如果它们的共同特征提取出来了，就能得到“鸟类”的概念。
发现学习：
发现学习是无教师指导的归纳学习，是从系统的初始知识、观察事例或经验数据中归纳出规律或规则。
四、决策树学习
决策树又称为判定树 ，是常用于分类和预测的一种树形结构，是应用最为广泛的推理算法之一，决策树学习算法有很多，常用的有ID3、ID4、C4.5、CART等。
决策树是一种由节点和边构成的用来描述分类过程的层次数据结构。每个节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。在决策树种，从根节点到叶节点的每一条路径都代表一个具体的实例，并且同一路径上的所有属性之间为合取关系，不同路径之间为析取关系。
五、类比学习
机械学习是一种单纯依靠记忆学习材料，而避免去理解其复杂内部和主题推论的学习方法。美国心理学家奥苏伯尔提出与机器学习相对的有意义学习概念，指符号所代表的新知识与学习者认知结构中已有的知识建立非实质性的和人为的联系，此理论可被描述为类比学习。运用类比，可迅速地把新旧知识对比、联系，迅速发现同中的异，清晰地理解知识；找出异中的同，构建知识网络。本节主要介绍类比学习的基本过程及几种特殊的类比学习，包括属性类比学习、转换类比学习、派生类比学习和联想类比学习。
1.类比学习的基本过程
（1）搜索匹配（2）选择规则（3）建立对应关系（4）更新知识库
2.属性类比学习
属性类比学习是根据两个相似事物的属性实现类比学习。在该学习系统中，采用框架来表示事物，其中已知事物的框架称为源框架，目标事物的框架称为目标框架，使用框架槽来表示事物的属性。该学习过程是把源框架的某些槽值传递到目标框架的相应槽中。该传递过程分为两步：
（1）利用源框架产生若干候选槽。
（2）利用目标框架中的已有信息来筛选由（1）推荐的相似性。
3.转换类比学习
转换类比学习方法是基于“中间-结局分析”法发展起来的。其求解问题的基本过程如下：
（1）把问题的当前状态与目标状态进行比较，找出它们之间的差异。
（2）根据（1）所得到的差异找出一个可减少差异的算符。
（3）若该算符可以作用于当前状态，则该算符把当前状态改变为另一个更接近目标的状态；若该算符不能作用于当前状态，则保留当前状态，并生成一个子问题，然后对此子问题用此法。
（4）当子问题被求解以后，恢复保留的状态，继续处理原问题。
转换类比学习方法由外部环境获得与类比有关的信息，学习系统找出与新问题相似的旧问题的有关知识，对这些知识进行转换，使之适用于新问题，从而获得新的知识。它主要由回忆过程和转换过程两个过程组成。回忆过程用于寻找新旧问题的差别，转换过程是对旧问题的解进行适当的变换，使之成为求解新问题的求解方法。
4.派生类比学习
遇到新问题，将新问题映射到原问题中，在原有问题的基础上抽象出解决方法；同时，新问题又能重新引导出另一个原先已解决的问题，即派生出另一个问题，而又能从该问题中得出新的解决方法，此时便可以类比两个已解决的问题的解决方法，找出相似之处，得出新问题的解决方法。
5.联想类比学习
联想类比学习是把已知领域（源系统）的知识联想到未知领域（目标系统）的类比方法，是一种综合的类比推理方法。
联想类比条件：
同构相似联想
同态相似联想
接近联想
对比联想
模糊联想
类比学习方法按原理可分为直接类比、拟人类比、象征类比、幻想类比、因果类比、对称类比、仿生类比和综合类比8种。
1709
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
