重读西瓜书

1、独立同分布概念理解（p3）

独立：随机变量的“每一种可能”之间相互不影响；例如丢骰子，第一次丢的结果不会影响第二次的结果。
同分布：第一次丢骰子和第二次丢，得到任意一面的概率都是分别相同的，比如第一次丢到“一点数”的概率为1/6，第二次丢到“一点数”的概率也会是1/6，都有着相同的概率密度函数和累计分布函数，也就是说的同分布。

2、关于归纳法和演绎法（p4）

归纳法是从一般普遍规律去推测，比如全世界人们看到的天鹅都是白天鹅，于是归纳出所有天鹅都是白色的。但是归纳法有明显缺点，归纳法的样本来源是不全面的，结论是有试用边界的。只能证伪，不能证明，休谟也提出“归纳法谬误”。如果澳洲出现了黑天鹅，那么上述结论就不成立了。

演绎法只能证明，不能证伪，所以一定保证隐含前提的正确性，但很多演绎法的前提都是归纳来的，那一定要小心了，一定要找到最本质的，所谓第一性原理作为演绎法的前提来进行演绎。

对算法的启示：
启示1：既然机器学习是归纳学习，那么一定要保证训练样本的分布和整体分布一致，只有分布一致的时候，才能保证归纳完全，尽量减少归纳谬误，逼近真相。

启示2:机器学习的过程，更像是查表，只不过这张表是从海量样本中归纳出来的。不过不是普通的布尔概念学习的“查表”那么简单了，通常是用一个“函数”来表示，我们称该函数为神经网络。

如果西瓜的3个特征分别有4/3/3个取值，那么西瓜问题的假设空间有433=36个，可以把学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程，搜索目标是找到与训练集"匹配"的假设，即能够将训练集中的瓜判断正确的假设.如果是实际业务，那么假设空间就是$Field\_size1\times Field\_size2\times ...\times Field\_size\_n$.