研究生数学建模比赛

 

1. 非显性特征剔除：跟结果没多大关系的特征剔除
2. 特征权重函数，权重就是变量前的系数（y=ax+by,a b为系数即权重————衡量变量重要程度），如何找权重：决策树、随机树、lime和shape

防止过度拟合的方法

• 数据增强：对现有数据进行变换以生成额外的训练样本，如在图像识别任务中，可以使用旋转、缩放、翻转等技术来扩充数据集。
• 正则化：在损失函数中加入一个正则项来惩罚模型的复杂度，例如L1正则化和L2正则化。L1正则化倾向于产生稀疏的权重量化，而L2正则化倾向于使权重变小但不为零。
• 早停法（Early Stopping）：在训练过程中监测验证集上的性能，当验证集上的误差开始增大时提前终止训练。
• Dropout：在训练过程中随机丢弃一部分神经元的输出，以减少模型依赖任何单一特征的程度，从而提高模型的鲁棒性和泛化能力。
• 集成方法：通过训练多个模型并将它们的预测结果结合起来，如Bagging、Boosting等，可以减少过拟合的风险。
• 批量归一化（Batch Normalization）：通过对每一层的输入进行归一化处理，可以加速训练并有一定的正则化效果。
• 增加训练数据：获取更多的训练样本可以提供更多的信息供模型学习，从而减少过拟合的可能性。
• 特征选择与降维：减少输入特征的数量，只保留最有影响力的特征，可以减少模型的复杂度，从而减少过拟合的风险。
• K折交叉验证：通过将数据集划分为K个子集，并使用K-1个子集来训练模型，剩下的一个子集来进行验证，这样可以更充分地利用数据，并且可以更好地估计模型的泛化性能。
• 模型简化：使用较简单的模型，如减少神经网络层数或神经元数量，可以减少过拟合的风险。
• 剪枝（Pruning）：对于决策树模型，可以通过剪枝去除那些对泛化性能贡献不大的分支。