交叉验证
通常情况下,大多使用的是简单交叉验证,其主要思想:
1、将全部数据集按一定比例分成训练集和测试集
2、利用训练集进行训练,得到分类模型(假设函数)
3、利用测试集验证第二步得到的训练模型的正确率
4、选择正确率最高的模型
优点:训练集与测试集是分开的,过拟合情况能有效避免。
K折交叉验证
主要思想(步骤):
1、将全部数据集D分为K个不相交的子集,不妨记为(si,1=
留一法
本质是K折交叉验证的极端表现
思想:
每次只留下一下样本作为测试集,其余样本作为训练集。剩下与K折交叉验证一致。
总结:样本利用率很高,适合小样本的情况;容易发生过拟合的情况。