Three Learning Principles Occam’s Razor 数据的解释应做到最简单,但不能比这个更简单去除不必要解释最简单的解释就是最好的简单的假设 小的假设集合更少的参数 简单的模型 候选模型不会很多包含少量的假设 Sampling Bias 如果数据的采样存在一定的偏差,那么学到的模型也会有类似的偏差根据对测试环境的了解,让训练环境与测试环境尽可能的接近 Data Snooping “偷看数据”可能会影响整个模型的能力训练过程中会因为偷看,让模型受到测试数据的污染数据服用造成间接的偷看避免“由数据决定建模”时刻怀疑“污染”的可能性 Power of Three