读书笔记《机器学习》：第一章：绪论

1.1 引言
1.2 基本术语
1.3 假设空间
1.4 归纳偏好
1.5 发展历程
1.6 应用现状

---

1.1 引言

通过基于经验预判的例子引出机器学习的概念。
Mitchell给出机器学习形式化的定义：
假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。

1.2 基本术语

数据集（dataset）
样本/示例（sample/instance）
特征/属性（feature/attribute）
样本空间（sample space）
属性空间（attribute space） – 特征空间（feature space）
特征向量（feature vector）
维数（dimensionality）
学习（learning）
训练（training）
测试（testing）
训练集（training set）
训练数据（training data）
训练样本（training sample）
测试集（testing set）
测试数据（testing data）
测试样本（testing sample）
假设（hypothesis）
真相（ground-truth）
学习器（learner）
预测（prediction）
标记（label）
样例（example）:拥有标记信息的样本，类似（x,y）
标记空间（label space）/输出空间
分类（classification）
回归（regression）
二分类（binary classification）
多分类（multi-classification）
正类（positive class)
反类（negative class）
聚类（clustering）
簇（cluster）
监督学习（supervised learning）
无监督学习（unsupervised learning）
泛化（generalization）
分布（distribution）
独立同分布（iid，independent and identically distributed）

机器学习的几种分类方式：

• 是否带标签：监督（生成方法/判别方法）、无监督
• 预测值连续或离散：分类、回归

机器学习的目的是尽可能地提高学得模型的泛化能力。
尽管训练集通常只是样本空间的一个很小的采样，但是我们仍然希望它能够很好的反应出样本空间的特性，否则很难期望在训练集上学得的模型能够在整个样本空间上都工作的很好。这句话等同于，我在训练集上做得好，那我在测试集或者其他样本上也能做的很好吗？如何来保证？所以一般会有下面一个假设。后面也会有计算学习理论来展开讲解这一点，机器学习为什么能学到知识？？？
通常假设在样本空间中全部样本服从一个未知的分布D（distribution），我们获得的样本都是通过iid（独立同分布）从这个分布上获取的，一般而言，训练样本越多，得到的关于D的信息就越多，越有可能获得泛化能力强的模型。

---

1.3 假设空间

归纳（induction）：特殊到一般的泛化过程，即从具体事实归纳出一般性规律。
演绎（deduction）：一般到特殊的特化（specialization）过程，即从基础原理推演出具体状况。
机器学习，从样例中学习显然是一个归纳的过程！
归纳学习（inductive learning）:
广义：大体相当于从样例中学习。
狭义：概念学习（concept learning），从数据中学得概念，非常困难！
版本空间（version space）：多个假设与训练集一致，这些假设构成的假设集合称之为版本空间。

1.4 归纳偏好

归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好。可以看作学习算法自身在一个庞大的假设空间中对假设进行选择的启发式或价值观。
如果机器学习算法没有归纳偏好，就没办法产生确定的学习结果，产生的结果不稳定，就丧失了学习的意义。

这里提供两个一般性的原则引导算法确立“正确”的偏好：奥卡姆剃刀（Occam’s Razor）、没有免费的午餐（No Free Lunch Theorem, NFL）。

奥卡姆剃刀：若有多个假设与观察一致，则选择最简单的一个。
没有免费的午餐：没有一种算法比随机胡猜的效果好。
NFL定理意义在于， 脱离具体问题，空范的谈论什么算法更好，没有意义！必须针对具体的学习问题，探讨算法的相对优劣。
学习算法的归纳偏好是否和问题相匹配，往往起到决定性的作用。

1.5 发展历程

五十年代：连接主义，代表（感知机）
六七十年代：符号主义，代表（概念学习系统）
八十年代：符号主义，代表（决策树）
九十年代中期：统计学习（statistics learning），代表（支持向量机、核方法）
二十一世纪初：连接主义卷土从来，深度学习（deep learning）

1.6 应用现状

广，很广，相当广
没准用了你都不知道！