[自学笔记]Tom Mitchell《机器学习》 - 第1章 引言

一、机器学习的一些成功应用

1. 识别人类语言：SPHINX系统 - 识别基本的音素(phoneme)单词／神经网络学习&隐马尔可夫模型的应用

2. 学习车辆驾驶：ALVINN系统 - 基于传感器的控制问题，在车辆中进行穿行驾驶

3. 分类新的天文结构：从各种大规模数据库中发现隐藏的一般规律 - 决策树算法被NASA用于天体分类

4. 博弈类棋局：Alpha Go - 围棋

二、关联学科

1. 人工智能：学习概念的符号表示。作为搜索问题的机器学习，利用先验知识和训练数据一起引导学习

2. 贝叶斯方法：作为计算假设概率基础的贝叶斯法则。朴素贝叶斯分类器。

3. 计算复杂性理论

4. 控制论

5. 信息论：熵和信息量的度量。学习最小描述长度

6. 哲学

7. 心理学和神经生物学：实践的幂定律（power law of practice）- 对于很大范围内的学习问题，人的反应速度会随着实践次数的幂级提升

8. 统计学

三、学习问题的标准描述

1. 定义：如果，一个计算机程序针对某些任务T的、用P衡量的性能、根据经验E来自我完善，

               那么，我们称这个计算机程序从经验E中学习，针对某些任务T，它的性能用P来衡量。

2. 为了完成一个学习系统的设计，除了确定ETP，还需要选择：要学习的知识的确切类型+对这个目标知识的表示（目标函数）+一种学习机制

  【举例】

   AlphaGo: 任务T是围棋博弈；性能P是赢得博弈；经验E是与自己博弈／过往的棋局。

3. 选择训练经验的3个关键属性：

    （1）训练经验能否为系统的决策提供直接／间接反馈（直接反馈ÿ