机器学习基石------Three Learing Principes

简单的hypothesis 和简单的model

对于单一hypothesis 而言 参数越少越简单
对于hypothesis set 而言 hypothesis 数量越少越简单
二者之间存在联系 当有效的hypothesis 越少的时候 可想而言 每一个不同的hypothesis 都是因为若干个参数不同而造成 因此 相应的 hypothesis 也会很简单
因为用简单的模型如果资料充满噪声 那么简单的模型是不能够正确分类资料的 反过来讲 如果资料被简单模型正确分开 那说明资料一定是存在某种可分特性
但是对于复杂模型 本来分类能力会强 可能混乱资料也会被复杂模型去拟合 因此不能解释做出的结果是否是真的好的
2.训练和测试来自同一分布 iid
对于训练样本和测试样本存在着时间上的前后
要在训练的时候也是要尽可能保持和测试资料分布的一致性

总结课程重点：