ML-Chapter1

第一章 绪论

基本术语

• 示例（instance）或样本（sample）：关于一个事件或对象的描述的一条记录
• 数据集（data set）：所有记录的集合
• 属性（attribute）或特征（feature）：反映事件或对象在某方面的表现或性质的事项
• 属性值（attribute value）：属性上的取值
• 属性空间（attribute space）、样本空间（sample space）或输入空间：属性张成的空间；属性的个数就是其维度，例如有3个属性，那么张成的空间就是三维空间；每个属性都可以在这个空间中找到自己的坐标位置；因此，也把一个示例成为一个特征向量（feature vector）
• 学习（learning）或训练（training）：从数据中学的模型的过程，这个过程通过执行某个算法来完成
• 训练数据（training data）：训练过程使用的数据
• 训练样本（training sample）：训练数据中的每个样本
• 训练集（training set）：训练样本组成的集合
• 假设（hypothesis）：学的模型对应了关于数据的某种潜在规律
• 假设空间：所有假设组成的空间
• 学习器（learner）：学得的模型，可看作学习算法在给定数据和参数空间上的实例化
• 标记（label）：关于示例结果的信息
• 样例（example）：拥有了标记信息的示例
• 标记空间（label space）或输出空间：所有标记的集合
• 测试（testing）：学的模型后，使用其进行预测的过程
• 测试样本（testing sample）：被预测的样本
• 分类（classification）：预测的是离散值
• 回归（regression）：预测的是连续值
• 聚类（clustering）：将训练集划分为若干组，每组称为一个簇
• 泛化（generalization）：学的模型适用于新样本的能力
• 归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好

假设空间

对于书中列举的西瓜问题的假设空间问题有如下前提条件：

• 假设西瓜有三种属性：色泽、根蒂、敲声
• 假设色泽=[青绿,浅白,乌黑]、根蒂=[蜷缩,硬挺,稍蜷]、敲声=[浊响,沉闷,清脆]
• 用通配符“*”表示可以选取任意值
• 用Ø表示没有这个东西，或是这个概念不成立

根据上面四个前提条件，我们可以得到如下的4x4x4+1=65种可能的情况：

1. 色泽=青绿；根蒂=蜷缩；敲声=浊响
2. 色泽=青绿；根蒂=蜷缩；敲声=沉闷
3. 色泽=青绿；根蒂=蜷缩；敲声=清脆
4. 色泽=青绿；根蒂=蜷缩；敲声=*
5. 色泽=青绿；根蒂=硬挺；敲声=浊响
6. 色泽=青绿；根蒂=硬挺；敲声=沉闷
7. 色泽=青绿；根蒂=硬挺；敲声=清脆
8. 色泽=青绿；根蒂=硬挺；敲声=*
9. 色泽=青绿；根蒂=稍蜷；敲声=浊响
10. 色泽=青绿；根蒂=稍蜷；敲声=沉闷
11. 色泽=青绿；根蒂=稍蜷；敲声=清脆
12. 色泽=青绿；根蒂=稍蜷；敲声=*
13. 色泽=青绿；根蒂=*；敲声=浊响
14. 色泽=青绿；根蒂=*；敲声=沉闷
15. 色泽=青绿；根蒂=*；敲声=清脆
16. 色泽=青绿；根蒂=*；敲声=*
17. 色泽=浅白；根蒂=蜷缩；敲声=浊响
18. 色泽=浅白；根蒂=蜷缩；敲声=沉闷
19. 色泽=浅白；根蒂=蜷缩；敲声=清脆
20. 色泽=浅白；根蒂=蜷缩；敲声=*
21. 色泽=浅白；根蒂=硬挺；敲声=浊响
22. 色泽=浅白；根蒂=硬挺；敲声=沉闷
23. 色泽=浅白；根蒂=硬挺；敲声=清脆
24. 色泽=浅白；根蒂=硬挺；敲声=*
25. 色泽=浅白；根蒂=稍蜷；敲声=浊响
26. 色泽=浅白；根蒂=稍蜷；敲声=沉闷
27. 色泽=浅白；根蒂=稍蜷；敲声=清脆
28. 色泽=浅白；根蒂=稍蜷；敲声=*
29. 色泽=浅白；根蒂=*；敲声=浊响
30. 色泽=浅白；根蒂=*；敲声=沉闷
31. 色泽=浅白；根蒂=*；敲声=清脆
32. 色泽=浅白；根蒂=*；敲声=*
33. 色泽=乌黑；根蒂=蜷缩；敲声=浊响
34. 色泽=乌黑；根蒂=蜷缩；敲声=沉闷
35. 色泽=乌黑；根蒂=蜷缩；敲声=清脆
36. 色泽=乌黑；根蒂=蜷缩；敲声=*
37. 色泽=乌黑；根蒂=硬挺；敲声=浊响
38. 色泽=乌黑；根蒂=硬挺；敲声=沉闷
39. 色泽=乌黑；根蒂=硬挺；敲声=清脆
40. 色泽=乌黑；根蒂=硬挺；敲声=*
41. 色泽=乌黑；根蒂=稍蜷；敲声=浊响
42. 色泽=乌黑；根蒂=稍蜷；敲声=沉闷
43. 色泽=乌黑；根蒂=稍蜷；敲声=清脆
44. 色泽=乌黑；根蒂=稍蜷；敲声=*
45. 色泽=乌黑；根蒂=*；敲声=浊响
46. 色泽=乌黑；根蒂=*；敲声=沉闷
47. 色泽=乌黑；根蒂=*；敲声=清脆
48. 色泽=乌黑；根蒂=*；敲声=*
49. 色泽=*；根蒂=蜷缩；敲声=浊响
50. 色泽=*；根蒂=蜷缩；敲声=沉闷
51. 色泽=*；根蒂=蜷缩；敲声=清脆
52. 色泽=*；根蒂=蜷缩；敲声=*
53. 色泽=*；根蒂=硬挺；敲声=浊响
54. 色泽=*；根蒂=硬挺；敲声=沉闷
55. 色泽=*；根蒂=硬挺；敲声=清脆
56. 色泽=*；根蒂=硬挺；敲声=*
57. 色泽=*；根蒂=稍蜷；敲声=浊响
58. 色泽=*；根蒂=稍蜷；敲声=沉闷
59. 色泽=*；根蒂=稍蜷；敲声=清脆
60. 色泽=*；根蒂=稍蜷；敲声=*
61. 色泽=*；根蒂=*；敲声=浊响
62. 色泽=*；根蒂=*；敲声=沉闷
63. 色泽=*；根蒂=*；敲声=清脆
64. 色泽=*；根蒂=*；敲声=*
65. Ø

版本空间

给定的西瓜数据表如下所示：

编号	色泽	根蒂	敲声	好瓜
1	青绿	蜷缩	浊响	是
2	乌黑	蜷缩	浊响	是
3	青绿	硬挺	清脆	否
4	乌黑	稍蜷	沉闷	否

1. 对于第一个正例，符合要求的假设是编号：1、4、13、16、49、52、61、64
2. 对于第二个正例，符合要求的假设是编号：33、36、45、48、49、52、61、64
3. 对于第三个反例，符合要求的假设是编号：7、8、15、16、55、56、63、64
4. 对于第四个反例，符合要求的假设是编号：42、44、46、48、58、60、62、64

对两个正例求交集得到49、52、61、64，再去除反例中的最后得到假设空间为{49,52,61}；即，如下图所示