机器学习——第一章

1 基本术语

示例或样本：关于一个事件或对象的描述，一个示例可以称为一个特征向量。每个样本有维数。
数据集：记录的集合
属性或特征：反映事件或对象在某方面的表现或性质的事项。
属性值：属性上的取值。
属性空间，样本空间，输入空间：属性张成的空间。
学习或训练：从数据中学到模型的过程。
训练数据：训练过程中使用的数据。
训练样本：训练数据中的样本。
训练集：训练样本组成的集合。
假设：学得模型对应了关于数据的某种潜在的规律。
真相或真实：潜在规律本身。
样例：拥有了标记信息的示例。
标记空间：所有标记的集合。
分类：预测的是离散值。
回归：预测的是连续值。
二分类：只涉及两个类别的任务。
多分类：涉及多个类别的任务。
测试：使用习得模型进行预测的过程。
测试样本：被测试的样本。
聚类：将训练集中的样本分成若干组，每组称为一个簇。
根据训练数据是否有标记信息，学习任务可以分为监督学习和无监督学习。
泛化能力：学得模型适用于新样本的能力。

2 假设空间

归纳与演绎是科学推理的两大基本手段.前者是从特殊到一般的“泛化”过程,即从具体的事实归结出一般性规律;后者则是从一般到特殊的“特化”过程,即从基础原理推演出具体状况.

3 归纳偏好

学习算法自身在一个可能庞大的假设空间中对假设进行选择的启发式或价值观。

• 奥卡姆剃刀：若有多个假设与观察一致，选最简单的那个。
• NFL定理：脱离具体问题，空泛谈论什么学习算法更好毫无意义。要谈论算法的相对优劣，必须要针对具体的学习问题。

4 发展历程

二十世纪五十年代初已有机器学习的相关研究,例如A.Samuel著名的跳棋程序.五十年代中后期,基于神经网络的“连接主义”(connectionism)学习开始出现,代表性工作有F.Rosenblatt的感知机(Perceptron)、B.Widrow的Adaline 等,在六七十年代,基于逻辑表示的“符号主义”(symbolism)学习技术蓬勃发展,代表性工作有P. Winston的“结构学习系统”、R.S. Michalski等人的“基于逻辑的归纳学习系统”、E.B.Hunt等人的“概念学习系统等;以决策理论为基础的学习技术以及强化学习技术等也得到发展,代表性工作有N.J.Nilson的“学习机器”等;二十多年后红极一时的统计学习理论的一些奠基性结果也是在这个时期取得的。