机器学习值模型评估

最新推荐文章于 2024-04-15 19:36:53 发布

over-shine

最新推荐文章于 2024-04-15 19:36:53 发布

阅读量154

点赞数

原文链接：https://blog.csdn.net/qq_17073497/article/details/80411143

版权

模型评估方法

1. 留出法

2.K折交叉验证法

3. 自助法

1. 留出法

“留出法”将数据集划分为两个互斥的数据集“训练集”（记为S，用于训练模型）和“测试集”（记为T，用于调参和测试模型误差）。注意：训练集和测试集在划分时要尽量保持数据分布的一致性，要保持样本类别比例相似（分层采样），如将数据集划分为0.7的训练集，0.3的测试集，那么每个类别都按照7:3的比例划分进训练集和测试集；另外，在划分数据集时需要随机划分多次，重复进行试验评估后取平均值作为留出法的评估结果。一般讲0.6~0.75的数据作为训练集，剩下的数据集作为测试集。

2.K折交叉验证法

将数据集划分为k个容量相似的数据集，每个数据集中的各类别应均匀分布，将其中k-1个数据集作为训练集，1个数据集作为测试集，共有 $C_k^{k-1}=k$ 组训练集\测试集。其中k常取10,5,20，常用的划分方法是“10次10折交叉验证法”，返回10次10折交叉数据的平均结果。该方法适用于样本足够（不是非常多）的数据集。