《机器学习》 周志华学习笔记第一章 绪论（课后习题）

        最近需要学习机器学习，有一点点基础但是很少，希望能通过写博客的方式和大家交流以及学习达到共同进步的目的。

绪论 ：

一、内容

1.基本术语

2.假设空间与版本空间

3.归纳偏好（常用的有奥卡姆剃刀） 没有免费的午餐定理（No Free Lunch Theorem,NFL，前提建设f均匀分布）式（1.2）显示总误差竟然与学习算法无关！告诉我们要谈论算法的相对优劣，必须要针对具体的学习问题。学习算法自身的归纳偏好与问题是否匹配，往往会起到决定性的作用！

二、课后答案：

1、表1.1中若只包含编号为1，4的两个样例，试给出相应的版本空间。

首先求出这个问题的假设空间。数据集有3个属性，每个属性2种取值，加上可能取所有值都合适，‘*’，以及可能所有瓜都不是好瓜的取值空值，一共 3∗3∗3+1=28种假设，分别为

1.色泽=青绿 根蒂=蜷缩 敲声=浊响

2.色泽=青绿 根蒂=蜷缩 敲声=沉闷

3.色泽=青绿 根蒂=稍蜷 敲声=浊响

4.色泽=青绿 根蒂=稍蜷 敲声=沉闷

5.色泽=乌黑 根蒂=蜷缩 敲声=浊响

6.色泽=乌黑 根蒂=蜷缩 敲声=沉闷

7.色泽=乌黑 根蒂=稍蜷 敲声=浊响

8.色泽=乌黑 根蒂=稍蜷 敲声=沉闷

9.色泽=青绿 根蒂=蜷缩 敲声=*

10.色泽=青绿 根蒂=稍蜷 敲声=*

11.色泽=乌黑 根蒂=蜷缩 敲声=*

12.色泽=乌黑 根蒂=稍蜷 敲声=*

13.色泽=青绿 根蒂=* 敲声=浊响

14.色泽=青绿 根蒂=* 敲声=沉闷

15.色泽=乌黑 根蒂=* 敲声=浊响

16.色泽=乌黑 根蒂=* 敲声=沉闷

17.色泽=* 根蒂=蜷缩 敲声=浊响

18.色泽=* 根蒂=蜷缩 敲声=沉闷

19.色泽=* 根蒂=稍蜷 敲声=浊响

20.色泽=* 根蒂=稍蜷 敲声=沉闷

21.色泽=青绿 根蒂=* 敲声=*

22.色泽=乌黑 根蒂=* 敲声=*

23.色泽=* 根蒂=蜷缩 敲声=*

24.色泽=* 根蒂=稍蜷 敲声=*

25.色泽=* 根蒂=* 敲声=浊响

26.色泽=* 根蒂=* 敲声=沉闷

27.色泽=* 根蒂=* 敲声=*

28.空集Ø 

版本空间是与训练集一致的假设集合，因此我们根据数据1,4分别对假设空间中的假设进行搜索，搜索过程不断删除与正例不一致的假设，和与反例一致的假设。最终获得与训练集一致的假设即可。

得到的版本空间如下：

1.色泽=青绿 根蒂=蜷缩 敲声=浊响

9.色泽=青绿 根蒂=蜷缩 敲声=*

13.色泽=青绿 根蒂=* 敲声=浊响

17.色泽=* 根蒂=蜷缩 敲声=浊响

21.色泽=青绿 根蒂=* 敲声=*

23.色泽=* 根蒂=蜷缩 敲声=*

25.色泽=* 根蒂=* 敲声=浊响 

2、与使用单个合取式来进行假设表示相比，使用“析合范式”将使得假设空间具有更强的表示能力。若使用最多包含k个合取式的析合范式来表达1.1的西瓜分类问题的假设空间，试估算有多少种可能的假设

这个也是参考了其他人的答案，没有看明白，有兴趣的同学可以去页面底部查看链接文章。

3、若数据包含噪声，则假设空间中可能不存在与所有训练样本都一致的假设。在此情形下，试设计一种归纳偏好用于假设选择

通常认为两个数据的属性越相近，则更倾向于将他们分为同一类。若相同属性出现了两种不同的分类，则认为它属于与他最临近几个数据的属性。也可以考虑同时去掉所有具有相同属性而不同分类的数据，留下的数据就是没误差的数据，但是可能会丢失部分信息。

4、本章1.4节在论述“没有免费的午餐”定理时，默认使用了“分类错误率”作为性能度量来对分类器进行评估。若换用其他性能度量l，试证明没有免费的午餐”定理仍成立

考虑二分类问题，真实目标函数可以是任何函数X->{0, 1},函数空间为2的|X|平方，对所有的可能的f按均匀分布对误差求和，对l(f(x), h(x))求和是一个常数，所有最后结果与（1.2）除前边的常数外其他一样。我觉得这个定理最重要的就是要明白前提f满足均匀分布。

5.试述机器学习在互联网搜索的哪些环节起什么作用

1.消息推送，相关推荐

2.分类搜索

课后试题参考  http://blog.csdn.net/icefire_tyh/article/details/52065224

转载于:https://my.oschina.net/u/3870452/blog/1824594