#笔记1

一、机器学习的一些成功应用

1. 识别人类语言：SPHINX系统 - 识别基本的音素(phoneme)单词／神经网络学习&隐马尔可夫模型的应用1
2. 学习车辆驾驶：ALVINN系统 - 基于传感器的控制问题，在车辆中进行穿行驾驶
3. 分类新的天文结构：从各种大规模数据库中发现隐藏的一般规律 - 决策树算法被NASA用于天体分类
4. 博弈类棋局：Alpha Go - 围棋

二、关联学科

1. 人工智能：学习概念的符号表示。作为搜索问题的机器学习，利用先验知识和训练数据一起引导学习
2. 贝叶斯方法：作为计算假设概率基础的贝叶斯法则。朴素贝叶斯分类器。
3. 计算复杂性理论
4. 控制论
5. 信息论：熵和信息量的度量。学习最小描述长度
6. 哲学
7. 心理学和神经生物学：实践的幂定律（power law of practice）- 对于很大范围内的学习问题，人的反应速度会随着实践次数的幂级提升
8. 统计学

三、学习问题的标准描述

1. 定义：对于某类任务T和性能度量P，如果，一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么，我们称这个计算机程序从经验E中学习，针对某些任务T，它的性能用P来衡量。
2. 为了完成一个学习系统的设计，除了确定ETP，还需要选择：要学习的知识的确切类型+对这个目标知识的表示（目标函数）+一种学习机制
   3.