机器学习-2

四步曲：
怎么学到
为何能学
如何强大
怎么学好


80%精力在模型之外


基于概率的信任（大数定律）


两个思想：所有信息都观测到的情况下，结果是否能够确定。
1、定值：频率学派。先验分布是不变的。
2、分布：贝叶斯学派。根据观测的数据改变先验的分布。


1、世界是确定的：因果律与经典物理。
2、不确定性与量子物理：哥本哈根学派。




只能保证在已有样本上是有效的。怎样保证对未来的数据也有效？
1、增加假设空间中的假设的数量。
2、将样本数量增加，假设的数量也会增加。
3、将大数定律在机器学习中应用。VC-dim = 特征数量 + 1




最重要的权衡：
过拟合 和 欠拟合 的权衡。
细致 和 置信 的权衡。
模型复杂度M的选择。线性模型 或 多项式模型（非线性）
模型复杂度过低的误差Bias（欠拟合偏差） 和 模型复杂度过高的误差Variance（过拟合方差）。
利用领域知识缩减假设空间的维度来减少误差。
利用样本数量增加来减少方差。


防止过拟合的发生：
1、数据中随机误差过多。把误差当规律来学习。
2、样本量和模型复杂度不匹配。样本量少，模型复杂度大。
3、模型复杂度大会导致前两个问题更严重。




在不该想的时候就不要瞎想。 - 控制模型的复杂度。
正则化：
校验：预留样本空间中的一部分样本来校验。