读书笔记 机器学习（周志华）第一章 绪论

1.1 引言

我们能做出有效的预判，是因为我们已经积累了许多经验， 而通过对经验的利用，就能对新情况做出有效的决策。

机器学习就是这样一门学科， 他致力于研究如何通过计算的手段， 利用经验来改善系统自身的性能。在计算机系统中， “经验”通常以“数据”形式存在， 因此， 机器学习所研究的主要内容， 是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）。有了学习算法，我们把经验数据提供给他，他就能基于这些数据产生模型；在面对新的情况时（例如看到一个没有剖开的西瓜），模型会给我们提供相应的判断（例如好瓜）。如果说计算机科学是研究关于“算法”的学问，那么类似的，可以说机器学习是研究关于“学习算法”的学问。

1.2 基本术语

1. 数据集：data set
2. 示例：instance 或 样本：sample
3. 属性：attribute 或 特征：feature
4. 属性值：attribute value
5. 属性空间：attribute space
6. 样本空间：sample space
7. 特征向量：feature vector

一般地，令$D=x_1,x_2,...,x_m$表示包含m个示例的数据集，每个示例由d个属性描述，则每个示例$x_i=(x_{i1};x_{i2};...x_{id})$是d维样本空间$\chi$中的一个向量，$x_i\in \chi$,其中$x_{ij}$是$x_i$在第j个属性上的取值，d成为样本$x_i$的“维数”。

“学习” 或 “训练”：从数据中学得模型的过程。这个过程通过执行某个学习算法来完成。

“训练数据” ：训练过程中使用的数据。其中每个样本称为一个“训练样本”，训练样本组成的集合称为 “训练集” 。

“假设” ：模型对应数据的某种潜在规律。

“真相” 或 “真实” ：这种规律自身。

“标记”（label）

“分类”（classification）：预测的是离散值。

“回归”（regression）：预测的是连续值。

“二分类”（binary classification）：只涉及两个类别，一个类为“正类”，另一个是“反类”。

“多分类”（multi-class classification）：涉及多个类别时。

“测试”（testing）：

“测试样本”（testing sample）

“聚类”（clustering）：讲训练集中的样本分成若干组，每组成为一个“簇”（cluster）。

“监督学习”（supervised learning）和“无监督学习”（unsupervised learning）：是否拥有标记信息划分。分类和回归是前者的代表，聚类是后者的代表。

“泛化”（generalization）：学得的模型适用于新样本的能力。

1.3 假设空间

“归纳学习”
“概念学习”：布尔值概念

1.4 归纳偏好

“归纳偏好” 或 “偏好”：机器学习算法在学习过程中对某种类型假设的偏好。（什么样的模型更好。）

任何一个有效的机器学习算法必有其归纳偏好。

“奥卡姆剃刀”：若有多个假设与观察一致，则选最简单的那个。

1.5 发展历程

机器学习是人工智能研究发展道一定阶段的必然产物。

“深度学习”：狭义就是“很多层”的神经网络。

1.6 应用现状

1.7 阅读材料