第1章 1
1.1 引言 1
本书用模型泛指从数据中学得的结果。
1.2 基本术语 2
- 数据集:记录的集合
- 样本(示例):每条记录是关于一个事件或对象的描述
- 特征(属性):反映事件或对象在某方面的表现或性质的事项
- 属性值:属性的取值
- 属性空间(样本空间):属性张成的空间
- 特征向量:示例
- 维数:属性描述的个数
- 学习(训练):从数据中学得模型
- 训练数据、训练样本、训练集:训练过程中使用的数据、其中每个样本、训练样本组成的集合
- 假设:学得模型对应了关于数据的某种潜在的规律
- 泛化能力:学得模型适用于新样本的能力
基本术语有很多,在学完后做几个项目会对这些术语有更全面的认识。
1.3 假设空间 4
西瓜数据集:
假设空间:所有假设组成的集合
若“色泽”“根蒂”“敲声”分别有3、3、3中可能取值,假设空间规模大小为65:
(
3
+
1
)
×
(
3
+
1
)
×
(
3
+
1
)
+
1
=
65
\begin{aligned} (3+1)\times(3+1)\times(3+1)+1=65 \end{aligned}
(3+1)×(3+1)×(3+1)+1=65
3+1的3为三个属性,1为全部属性(*),后面+1的1为空集。
版本空间:只保留了假设空间中与训练数据集中正例一致的假设,由这些正确的假设构成的集合称为版本空间
通过所给的西瓜数据集对假设空间进行筛选,就可以得到版本空间。
简单说,假设空间就是所有可能的情况,学习过程中通过训练集对其进行筛选得到版本空间。因此,要想判断的正确,就要全面、大量的训练,以排除更多假设空间中的错误假设。错误假设越少,剩下的假设越少,就越有可能是正确假设,我们判断的结果的正确概率越大。
如果还没有理解,可以参考以下的博客,有更加详细的例子:
1.4 归纳偏好 6
归纳偏好:机器学习算法在学习过程中对某种类型假设的偏好
训练集外误差:(公式1.1)
E
o
t
e
(
L
a
∣
X
,
f
)
=
∑
h
∑
x
∈
X
−
X
P
(
x
)
I
(
h
(
x
)
≠
f
(
x
)
)
P
(
h
∣
X
,
L
a
)
E_{o t e}\left(\mathfrak{L}_{a} | X, f\right)=\sum_{h} \sum_{\boldsymbol{x} \in \mathcal{X}-X} P(\boldsymbol{x}) \mathbb{I}(h(\boldsymbol{x}) \neq f(\boldsymbol{x})) P\left(h | X, \mathfrak{L}_{a}\right)
Eote(La∣X,f)=h∑x∈X−X∑P(x)I(h(x)=f(x))P(h∣X,La)
其中
I
(
⋅
)
\mathbb{I}(·)
I(⋅)是指示函数,若·为真取值1,否则取值0.
对所有可能的f按均匀分布对误差求和,有(公式1.2)
∑
f
E
o
t
e
(
L
a
∣
X
,
f
)
=
∑
f
∑
h
∑
x
∈
X
−
X
P
(
x
)
I
(
h
(
x
)
≠
f
(
x
)
)
P
(
h
∣
X
,
L
a
)
=
∑
x
∈
X
−
X
P
(
x
)
∑
h
P
(
h
∣
X
,
L
a
)
∑
f
I
(
h
(
x
)
≠
f
(
x
)
)
=
∑
x
∈
X
−
X
P
(
x
)
∑
h
P
(
h
∣
X
,
L
a
)
1
2
2
∣
X
∣
=
1
2
2
∣
X
∣
∑
x
∈
X
−
X
P
(
x
)
∑
h
P
(
h
∣
X
,
L
a
)
=
2
∣
X
∣
−
1
∑
x
∈
X
−
X
P
(
x
)
⋅
1
\begin{aligned} \sum_{f}E_{ote}(\mathfrak{L}_a\vert X,f) &= \sum_f\sum_h\sum_{\boldsymbol{x}\in\mathcal{X}-X}P(\boldsymbol{x})\mathbb{I}(h(\boldsymbol{x})\neq f(\boldsymbol{x}))P(h\vert X,\mathfrak{L}_a) \\ &=\sum_{\boldsymbol{x}\in\mathcal{X}-X}P(\boldsymbol{x}) \sum_hP(h\vert X,\mathfrak{L}_a)\sum_f\mathbb{I}(h(\boldsymbol{x})\neq f(\boldsymbol{x})) \\ &=\sum_{\boldsymbol{x}\in\mathcal{X}-X}P(\boldsymbol{x}) \sum_hP(h\vert X,\mathfrak{L}_a)\cfrac{1}{2}2^{\vert \mathcal{X} \vert} \\ &=\cfrac{1}{2}2^{\vert \mathcal{X} \vert}\sum_{\boldsymbol{x}\in\mathcal{X}-X}P(\boldsymbol{x}) \sum_hP(h\vert X,\mathfrak{L}_a) \\ &=2^{\vert \mathcal{X} \vert-1}\sum_{\boldsymbol{x}\in\mathcal{X}-X}P(\boldsymbol{x}) \cdot 1\\ \end{aligned}
f∑Eote(La∣X,f)=f∑h∑x∈X−X∑P(x)I(h(x)=f(x))P(h∣X,La)=x∈X−X∑P(x)h∑P(h∣X,La)f∑I(h(x)=f(x))=x∈X−X∑P(x)h∑P(h∣X,La)212∣X∣=212∣X∣x∈X−X∑P(x)h∑P(h∣X,La)=2∣X∣−1x∈X−X∑P(x)⋅1
公式1.2指出总误差与学习算法无关。(“没有免费的午餐”定理,简称NFL定理)
1.5 发展历程 10
讲述了机器学习的由来与发展过程,有兴趣的同学可以找一些课外资料深入了解。
1.6 应用现状 13
机器学习与多学科融合,不仅在信息科学中有重要地位,还具有一定的自然科学探索色彩。
习题 19
(有空慢慢补)