- 非显性特征剔除:跟结果没多大关系的特征剔除
- 特征权重函数,权重就是变量前的系数(y=ax+by,a b为系数即权重————衡量变量重要程度),如何找权重:决策树、随机树、lime和shape
防止过度拟合的方法
- 数据增强:对现有数据进行变换以生成额外的训练样本,如在图像识别任务中,可以使用旋转、缩放、翻转等技术来扩充数据集。
- 正则化:在损失函数中加入一个正则项来惩罚模型的复杂度,例如L1正则化和L2正则化。L1正则化倾向于产生稀疏的权重量化,而L2正则化倾向于使权重变小但不为零。
- 早停法(Early Stopping):在训练过程中监测验证集上的性能,当验证集上的误差开始增大时提前终止训练。
- Dropout:在训练过程中随机丢弃一部分神经元的输出,以减少模型依赖任何单一特征的程度,从而提高模型的鲁棒性和泛化能力。
- 集成方法:通过训练多个模型并将它们的预测结果结合起来,如Bagging、Boosting等,可以减少过拟合的风险。
- 批量归一化(Batch Normalization):通过对每一层的输入进行归一化处理,可以加速训练并有一定的正则化效果。
- 增加训练数据:获取更多的训练样本可以提供更多的信息供模型学习,从而减少过拟合的可能性。
- 特征选择与降维:减少输入特征的数量,只保留最有影响力的特征,可以减少模型的复杂度,从而减少过拟合的风险。
- K折交叉验证:通过将数据集划分为K个子集,并使用K-1个子集来训练模型,剩下的一个子集来进行验证,这样可以更充分地利用数据,并且可以更好地估计模型的泛化性能。
- 模型简化:使用较简单的模型,如减少神经网络层数或神经元数量,可以减少过拟合的风险。
- 剪枝(Pruning):对于决策树模型,可以通过剪枝去除那些对泛化性能贡献不大的分支。