《人工智能导论》 第7章 机器学习

机器学习

机器学习的基本概念

机器学习（Machine learning）使计算机能模拟人的学习行为，自动地通过学习来获取知识和技能，不断改善性能，实现自我完善。 机器学习主要研究以下三个问题：

• 学习机理：人类获取知识、技能和抽象概念的天赋能力。
• 学习方法：机器学习方法的构造是在对生物学习机理进行简化的基础上，用计算的方法进行再现。
• 学习系统：能够在一定程度上实现机器学习的系统。

一个学习系统一般应该有环境、学习、知识库、执行与评价等四个基本部分组成。

• 环境：指外部信息的来源，可以是系统的工作对象，也可以包括工作对象和外界条件。环境是以某种形式表达的外界信息的集合。

• 知识库：用于存储由学习得到的知识，在存储时要进行适当的组织，使它既便于应用又便于维护。

• 执行与评价

  • 执行环节用于处理系统面临的现实问题，即应用学到的知识求解问题。
  • 评价环节用于验证、评价执行环节执行的效果。目前对评价的处理有两种方式：
    • 一种是把评价时所需的性能指标直接建立在系统中，由系统对执行环节得到的结果进行评价；
    • 另一种是由人来协助完成评价工作。

• 学习：部分将根据反馈信息决定是否要从环境中索取进一步的信息进行学习，以修改、完善知识库中的知识。这是学习系统的一个重要特征。

机器学习的分类

• 按学习方法分类：机械式学习、指导式学习、示例学习、类比学习、解释学习等。这是温斯顿在1977年提出的一种分类方法。

• 按学习能力分类

  • 监督学习（有教师学习）：监督学习是对每个输入模式都有一个正确的目标输出
    

  • 强化学习（Reinforcement Learning）：强化学习中外部环境对系统输出结果只给出评价信息（奖励或者惩罚），而不是正确答案，学习系统通过那些受惩的动作改善自身的性能。
    

  • 非监督学习（Unsupervised Learning）：非监督学习系统完全按照环境提供的数据的某些统计规律调节自身的参数或者结构（自组织），以表示出外部输入的某种固有特性，如聚类或者某种统计上的分布特征。
    

• 若按学习时所采用的推理方式进行分类

  • 基于演绎的学习是指以演绎推理为基础的学习。解释学习在其推理过程中主要用的演绎方法，因而可将它划入基于演绎的学习这一类。
  • 基于归纳的学习是指以归纳推理为基础的学习。示例学习、发现学习等在其学习过程中主要使用了归纳推理，因而可划入归纳学习这一类。早期的机器学习系统一般都使用单一的推理方式，现在则趋于集成多种推理技术来支持学习。例如类比学习就既用到演绎推理又用到归纳推理，解释学习也是这样，只是因它演绎部分所占的比例较大，所以把它归入基于演绎的学习。

• 按综合属性分类：归纳学习、分析学习、连接学习以及遗传算法与分类器系统等。

  分析学习是基于演绎和分析的学习。学习时从一个或几个实例出发，运用过去求解问题的经验，通过演绎对当前面临的问题进行求解，或者产生能更有效应用领域知识的控制性规则。分析学习的目标不是扩充概念描述的范围，而是提高系统的效率。

机械式学习

机械式学习（Rote Leaning）又称为记忆学习，或者死记式学习，是一种最简单、最原始的学习方法。机械式学习通过直接记忆或者存贮外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题。

机械式学习实质上是用存储空间来换取处理时间。虽然节省了计算时间，但却多占用了存储空间。当因学习而积累的知识逐渐增多时，占用的空间就会越来越大，检索的效率也将随着下降。所以，在机械式学习中要权衡时间与空间的关系，这样才能取得较好的效果。

指导式学习

指导式学习（Learning By Being Told）又称为嘱咐式学习或教授式学习。指导式学习是由外部环境向系统提供一般性的指示或建议，系统把它们具体地转化为细节知识并送入知识库中。在学习过程中要反复对形成的知识进行评价，使其不断完善。指导式学习的学习过程由下列四个步骤组成：

1. 征询指导者的指示或建议
2. 把征询意见转换为可执行的内部形式
3. 加入知识库
4. 评价

示例学习

示例学习（Learning From Examples）又称为实例学习或从例子中学习。示例学习是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。

• 示例空间：所有可对系统进行训练的示例集合。
• 搜索：从示例空间中查找所需的示例。
• 解释：从搜索到的示例中抽象出所需的有关信息供形成知识使用。
• 形成知识：把经解释得到的有关信息通过综合、归纳等形成一般性的知识。
• 验证：检验所形成的知识的正确性。