一、交叉验证
训练集S，模型集合M
1、简单交叉验证：70%S训练M，训练出参数
，求得假设函数h，在30%S上得到相应的经验错误
，选择最小的最为最好的模型
2、k折交叉验证：将交叉验证的测试集/k，每个模型训练k次，测试k次，得到的错误率/k。一般k取10。
3、留一交叉验证：每次只留一个样例作为测试。（用于数据稀疏的情况）
二、特征选择
严格来讲也是模型选择的一种
1、为什么要做特征选择
在有限的样本数目下，用大量的特征来设计分类器计算开销太大而且分类性能差。
2、特征选择的确切含义</
规则化和模型选择
最新推荐文章于 2024-06-23 11:30:00 发布
本文探讨了机器学习中的规则化和模型选择，包括交叉验证的三种方法：简单交叉验证、k折交叉验证和留一交叉验证。接着讨论了特征选择的重要性，如减少计算开销和提高分类性能，并介绍了前向搜索、后向搜索和过滤特征选择等算法。最后，解释了贝叶斯统计和规则化的概念，如何通过最大后验概率估计缓解过拟合问题。
最低0.47元/天 解锁文章
扫一扫
1480
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
