《机器学习》读书笔记 3 第1章 绪论

一、引言

1.西瓜书由来：除了封皮的西瓜，这里举了一个判断好西瓜的例子：根蒂蜷缩、敲声浊响的青绿西瓜 很可能是好西瓜。

2.机器学习正是这样的一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身性能。

3.机器学习研究的主要内容：在计算机上从数据中产生“模型”的算法，即学习算法。

4.学习算法，输入是经验数据，输出是模型。

5.本书中 “模型”泛指从数据中学得的结果。有文献“模型”是全局性结果，“模式”指局部性结果。

二、基本术语

1.数据：例如西瓜数据：｛色泽=青绿；根蒂=蜷缩；敲声=浊响｝，｛色泽=乌黑；根蒂=稍蜷缩；敲声=沉闷｝.....

               ｛｝内是一条记录。

2.数据集：一组记录的集合是数据集

3.样本：每条记录是关于一个事件或对象的描述，称为一个示例或样本（instance 在面向对象里都是翻译成实例吧??）

4.属性：反映事件或对象在某方面的表现或性质的事项，称为属性或特征。如色泽、根蒂

5.属性值：属性上的取值。如青绿、蜷缩

6.样本空间：属性张成空间。如：色泽、根蒂、敲声作为三个坐标轴，则他们可张成三维空间。（降纬就是去掉不重要属性和合并属性？？）

7.特征向量：空间中的每个点都对应一个坐标向量，因此一个示例 也称为一个“特征向量”

8.学习：从数据中学得模型的过程称为“学习”或训练。这个过程通过执行某个学习算法来完成。

9.训练集：训练过程中使用的数据称为“训练数据”，其中每个样本称为一个训练样本。训练样本的集合称为训练集。

10.假设、真相：学得模型对应了关于数据的某种潜在的规律，因此也称“假设”；这种潜在规律自身，则称为“真相”或真实，学习过程就是为了找出或逼近真相。

11.学习器：本书有时将模型称为学习器，可看作学习算法在给定数据和参数空间上的实例化。

12.标记：训练样本的结果信息，称为标记。如西瓜的好、坏。

13.样例：拥有了标记信息的示例

14.分类：若预测结果为离散值，则此类学习任务称为分类。如好瓜、坏瓜。

15.回归：若预测结果为连续值，例如西瓜成熟度0.95，则此类学习任务称为回归。

16.二分类：分类的结果只有两个。一个类称正类，另一类称反类。

17.多分类：分类的结果有多个。

18.测试、测试样本：学得模型后，使用其进行预测的过程称为“测试”。被预测的样本称为“测试样本”。

19.聚类、簇：将训练集中的西瓜分成若干组，每组称为一个簇。聚类过程中使用训练样本通常不拥有标记信息。

20.监督学习：训练数据有标记信息。如分类、回归。

21.非监督学习：训练数据没有标记信息。如聚类。

22.泛化能力：学得模型适用于新样本的能力，称为泛化能力。

23.独立同分布：通常假设样本空间中全体样本服从一个未知分布，我们获得的每个样本都是独立地从这个分布上采样获得的。

三、假设空间

1.归纳：从特殊到一般的泛化过程，即从具体的事实归结出一般性规律。从样例中学习，是归纳过程，也称归纳学习。

2.演绎：从一般到特殊的特化过程，即从基础原理推演出具体状况。

3.概念学习：狭义的归纳学习要求从训练中学得概念，因此也称概念学习或概念形成。概念学习中最基本是布尔概念学习。

4.假设空间：可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设，即能够将训练集合中的瓜判断正确的假设。（需参考二.10假设的概念）

5.版本空间：可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”。（？？？）

四、归纳偏好

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效机器学习算法必有其归纳偏好。

奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个。

NFL（没有免费的午餐）定理：所有学习算法的期望性能都跟随机胡猜差不多。

NFL定理的假设：所有问题同等重要，但实际情形并不是这样；假设均匀分布（？？？）。

NFL寓意：算法的相对优劣，必须要针对具体学习问题；学习算法自身的归纳偏好与问题是否相配，往往起到决定性作用。

五、发展历程

1.推理期：20世纪50年代-70年代。代表：逻辑理论家。仅靠逻辑推理能力是实现不了人工智能。

2.知识期：20世纪70年代中期。代表：专家系统。但人把知识总结出来再交给计算机是相当困难的。

3.学习期：80年代至今。基于神经网络的连接主义学习。基于逻辑表示的符号主义学习。以决策理论为基础的学习技术以及强化学习技术。

学习期的一些关键节点：

4.从样例中学习的一大主流是符号主义学习。代表：决策树、基于逻辑的学习。

5.从样例中学习的另一大主流技术是基于神经网络的连接主义学习。BP是被应用得最广泛的机器学习算法之一。

6.统计学习：90年代中期，代表：支持向量机以及更一般的核方法。核方法成为机器学习的基本内容之一。

7.深度学习：21世纪初，连接主义学习卷土重来。深度学习，很多层的神经网络。

六、应用现状

1.机器学习已成为最重要的技术进步源泉之一。尤其是计算机视觉、自然语言处理。

2.为交叉学科提供了重要的技术支撑。如 生物信息学

3.具体用例：搜索引擎；自动驾驶汽车；奥巴马竞选团队；协助研究人类如何学习；