【读书笔记】周志华机器学习第一章绪论

最新推荐文章于 2024-05-23 18:00:05 发布

CQ小熊家

最新推荐文章于 2024-05-23 18:00:05 发布

阅读量134

点赞数

文章标签：机器学习算法人工智能

本文链接：https://blog.csdn.net/weixin_43868177/article/details/126065439

版权

第一章绪论

基本术语
假设空间
归纳偏好
参考文献

基本术语

编号	$x_1$	$x_2$	$y$
1	1	1	0
2	1	0	1
3	0	1	1
4	0	0	0

以上表数据集为例，一般地，
称 $x_1$ , $x_2$ 为特征；特征张成地空间为输入空间或者特征空间；称特征空间中的一个点 ${\boldsymbol x_1} = (1, 1)$ 为示例或者输入向量或者特征向量。
称 $y$ 是标记，有标记的示例称为样例，用 $({\boldsymbol x_i}, y_i)$ 表示第 $i$ 个样例，所有标记的集合称为标记空间或者输出空间。

假设空间

一般地，我们的任务是通过对数据的学习，得到输入空间到输出空间的映射；所有可能地映射构成的集合称为假设空间。

归纳偏好

对于一个机器学习算法，通过对已知数据地学习，可能得到多个符合已知数据的映射，这时算法需要有一个偏好来确定一个模型，否则在分析新数据时会产生错误。比如说通过已知数据得到两个映射 $f_1$ 和 $f_2$ ，当分析新数据 ${\boldsymbol x_i}$ 时， $f_1({\boldsymbol x_i}) != f_2({\boldsymbol x_i})$ ，相互矛盾，所以需要选择其中一个映射。
一般使用奥卡姆剃刀原则作为偏好，即若有多个假设和观察一致，则选最简单的那个。奥卡姆剃刀原则并非唯一可行的偏好。
根据某个偏好得到的模型在某些情况下表现更好，那么一定会在别的某个情况下表现更坏。这就是没有免费午餐定理。证明如下：
没有免费午餐定理证明
由上述证明可以得到，带有不同偏好的算法，总误差和算法无关。算法A和算法B的总误差是一样的。算法A在某个情况下表现好误差小的时候，必定会在其他某个情况下表现差误差大。这并不是说算法都一样没有好坏之分。因为我们要求的就是具体某种情况下的最优模型，这个模型在别的情况下好不好我们并不关心。这个定理告诉我们具体问题具体分析，没有万能钥匙。