【读书笔记】周志华机器学习第一章绪论

最新推荐文章于 2024-09-07 22:28:34 发布

CQ小熊家

最新推荐文章于 2024-09-07 22:28:34 发布

阅读量188

点赞数

文章标签：机器学习算法人工智能

本文链接：https://blog.csdn.net/weixin_43868177/article/details/126065439

版权

本文介绍了机器学习的基本术语，包括特征、输入空间、输出空间和样例。讨论了假设空间，即所有可能的输入到输出映射的集合，并提出了归纳偏好，用于在多个符合数据的映射中做选择。奥卡姆剃刀原则常被用作选择模型的偏好，但没有免费午餐定理表明不同偏好下的算法在总误差上并无优劣之分，强调了具体问题具体分析的重要性。

摘要由CSDN通过智能技术生成

基本术语

编号	$x_1$	$x_2$	$y$
1	1	1	0
2	1	0	1
3	0	1	1
4	0	0	0

以上表数据集为例，一般地，
称 $x_1$ , $x_2$ 为特征；特征张成地空间为输入空间或者特征空间；称特征空间中的一个点 ${\boldsymbol x_1} = (1, 1)$ 为示例或者输入向量或者特征向量。
称 $y$ 是标记，有标记的示例称为样例，用 $({\boldsymbol x_i}, y_i)$ 表示第 $i$ 个样例，所有标记的集合称为标记空间或者输出空间。

假设空间

一般地，我们的任务是通过对数据的学习，得到输入空间到输出空间的映射；所有可能地映射构成的集合称为假设空间。

归纳偏好

对于一个机器学习算法，通过对已知数据地学习，可能得到多个符合已知数据的映射，这时算法需要有一个偏好来确定一个模型，否则在分析新数据时会产生错误。比如说通过已知数据得到两个映射 $f_1$ 和 $f_2$ ，当分析新数据 ${\boldsymbol x_i}$ 时， $f_1({\boldsymbol x_i}) != f_2({\boldsymbol x_i})$ ，相互矛盾，所以需要选择其中一个映射。
一般使用奥卡姆剃刀原则作为偏好，即若有多个假设和观察一致，则选最简单的那个。奥卡姆剃刀原则并非唯一可行的偏好。
根据某个偏好得到的模型在某些情况下表现更好，那么一定会在别的某个情况下表现更坏。这就是没有免费午餐定理。证明如下：
没有免费午餐定理证明
由上述证明可以得到，带有不同偏好的算法，总误差和算法无关。算法A和算法B的总误差是一样的。算法A在某个情况下表现好误差小的时候，必定会在其他某个情况下表现差误差大。这并不是说算法都一样没有好坏之分。因为我们要求的就是具体某种情况下的最优模型，这个模型在别的情况下好不好我们并不关心。这个定理告诉我们具体问题具体分析，没有万能钥匙。