西瓜书学习笔记 —— 第1章 绪论

1 引言

机器学习定义【Mitchell, 1997】：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序队E进行了学习。

“模型”（model）泛指从数据中学得的结果。有文献用“模型”指全局性结果（例如一颗决策树），而用”模式“指局部性结果（例如一条规则）。

2 基本术语

预测：若是离散值，任务称为”分类“（classification）；若是连续值，任务称为”回归“（regression）。
分类：两个类别的”二分类“（binary classification）任务，通常一个称为“正类”（positive class），另一个为”反类“（negative classification）=；涉及多个类别时，称为”多分类“（multi-class classification）任务。

”聚类“（clustering），分成若干组，每组称为一个”簇“（cluster）。

训练数据是否拥有标记：”监督学习“（supervised learning）和”无监督学习“（unsupervised learning），分类、回归是前者代表，而聚类则是后者的代表。

”泛化“(generalization)能力：学得模型适用于新样本的能力。

3 假设空间

归纳（induction）与演绎（deduction）时科学推理的两大基本手段。
前者从特殊到一般的”泛化“（generalization）过程，即总结一般性规律；后者从一般到特殊”特化“（specialization）过程，推演出具体状况。这称为”归纳学习“（inductive learning）。

归纳学习：广义，从样例中学习；狭义，从训练数据中学得概念，亦称为”概念学习“。

概念学习中最基本的是布尔概念学习：Yes or No。

可以把学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程，搜索目标时找到与训练集”匹配“（fit）的假设，即能够在训练集中的数据判断Yes的假设，所有的假设找到为假设空间。

现实问题中假设空间很大，可能有多个假设与训练集一支，即存在一个与训练集一致的”假设集合“，我们称之为”版本空间“(version space)。

4 归纳偏好

通过学习得到的模型对应了假设空间中的一个假设。但是版本空间给我们带来一个麻烦：现在有三个与训练集一致的假设，但与它们对应的模型在面临新样本的时候，却会产生不同的输出。

机器学习算法在学习过程中队某种类型假设的偏好，称为”归纳偏好“（inductive bias），或简称为”偏好“。

归纳偏好可看作学习算法自身在一个很庞大的假设空间中队假设进行选择的启发式或”价值观“。

”没有免费的午餐“定理（No Free Lunch Theorem），简称NFL定理：无论学习算法多聪明、多笨拙，它们的期望性能相同。
NFL定理一个重要前提：所有”问题“出现的机会相同、或所有问题同等重要。

5 发展历史

6 应用现状

7 阅读材料