本文探讨了独立同分布的概念及其在随机变量中的作用，以及归纳法和演绎法的区别。在机器学习中，独立同分布确保训练样本的代表性，归纳法用于从样本中学习规律，但可能存在归纳谬误。而演绎法则强调前提的准确性。机器学习过程被比喻为在假设空间中搜索，通过大量样本归纳出决策函数，如神经网络。文章指出，训练样本分布与整体分布的一致性对于减少归纳错误至关重要。
1、独立同分布概念理解（p3）
独立：随机变量的“每一种可能”之间相互不影响；例如丢骰子，第一次丢的结果不会影响第二次的结果。
同分布：第一次丢骰子和第二次丢，得到任意一面的概率都是分别相同的，比如第一次丢到“一点数”的概率为1/6，第二次丢到“一点数”的概率也会是1/6，都有着相同的概率密度函数和累计分布函数，也就是说的同分布。
2、关于归纳法和演绎法（p4）
归纳法是从一般普遍规律去推测，比如全世界人们看到的天鹅都是白天鹅，于是归纳出所有天鹅都是白色的。但是归纳法有明显缺点，归纳法的样本来源是不全面的，结论是有试用边界的。只能证伪，不能证明，休谟也提出“归纳法谬误”。如果澳洲出现了黑天鹅，那么上述结论就不成立了。
演绎法只能证明，不能证伪，所以一定保证隐含前提的正确性，但很多演绎法的前提都是归纳来的，那一定要小心了，一定要找到最本质的，所谓第一性原理作为演绎法的前提来进行演绎。
对算法的启示：
启示1：既然机器学习是归纳学习，那么一定要保证训练样本的分布和整体分布一致，只有分布一致的时候，才能保证归纳完全，尽量减少归纳谬误，逼近真相。
启示2:机器学习的过程，更像是查表，只不过这张表是从海量样本中归纳出来的。不过不是普通的布尔概念学习的“查表”那么简单了，通常是用一个“函数”来表示，我们称该函数为神经网络。
如果西瓜的3个特征分别有4/3/3个取值，那么西瓜问题的假设空间有433=36个，可以把学习过程看作一个在所有假设(hypothesis)组成的空间中进行搜索的过程，搜索目标是找到与训练集"匹配"的假设，即能够将训练集中的瓜判断正确的假设.如果是实际业务，那么假设空间就是 F i e l d _ s i z e 1 × F i e l d _ s i z e 2 × . . . × F i e l d _ s i z e _ n Field\_size1 \times Field\_size2 \times ... \times Field\_size\_n Field_size1×Field_size2×...×Field_size_n.
662
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
