本文分享了在机器学习项目中如何通过快速构建基础系统并进行误差分析来确定改进方向。建议先建立一个简单的系统，然后通过分析大约100个错误分类的样本找出主要错误类型。同时，将开发集分为Eyeball和Blackbox两部分，避免过拟合，并确保Blackbox开发集有足够样本量。误差分析和模型优化应在足够大的开发集上进行。
1、开发集与测试集服从同一分布
开发集效果好，测试集效果不好，证明算法在开发集上过拟合。
2、开发集与测试集分布不同
开发集上过拟合；测试集上的数据分布不同，测试集表现的性质更难预测
3、确定数据集，建议开发集与测试集数据分布一致
4、开发集的数据样本数量能大到区分不同算法性能的提高，一般数据样本数量大于10000；互联网公司开发集数量比较大，因为涉及到指标微小提高影响利润和绩效；开发集不是越大越好，所占总数据集比例随着数据量的增大而降低，在比如我们拥有1000000，这么多的数据，训练集：验证集：测试集=98:1:1；在1000-10000的总数据样本的情况下，选择70%开发集和30%测试集。
5、用单值指标评估算法性能，如分类准确率；或用非单值指标如查准率（precision）和查全率（recall召回率）的F1_score或加权平均数对算法性能进行排序；
6、设定N个满意度指标，需要在N-1个指标满足满意度阈值的情况下，优化第N个指标
最低0.47元/天 解锁文章
扫一扫
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
