1.模型
(1)随机森林
属于集成学习,由很多棵决策树构成。
优点:有较好的准确率;可有效运行在大数据集上;可处理具有高维特征的样本,且不需要降维;可评估各个特征在分类上的重要性。
(2)lightGBM
(3)xgboost
2.交叉验证
简单交叉验证、k折交叉验证、留一法、留P法
3.调参
注:验证集训练超参数
(1)网格搜索(在所有候选的参数中遍历找到最优的参数)
(2)学习曲线(在训练集大小不同时通过绘制模型训练集和交叉验证集上的准确率来观察模型在新数据上的表现,进而来判断模型是否方差偏高或偏差过高,以及增大训练集是否可以减小过拟合)
(3)验证曲线(横轴为超参数的一系列值,纵轴为准确率)