2024年第四届长三角数学建模竞赛B题详细解题思路
赛道B:人工智能范式的物理化学家
长三角分享资料(问题一代码+论文+思路)链接(18点更新):
链接:https://pan.baidu.com/s/1lteKvIWNZ4v-Gd7oOcgO9w
提取码:sxjm
这一题目主要是数据科学和机器学习应用在化学研究上。您需要从提供的大规模数据集中发现规律,构建模型,预测化学物质的物理化学性质。这将包括数据预处理、特征选择、模型构建和验证。问题涉及使用先进的机器学习技术,如深度学习、贝叶斯优化等,来处理高维数据和预测未知的化学属性。
l 问题1: 对给定数据进行预处理,研究y2与分子id之间的函数关系,尝试直接通过id预测y2
数据预处理:
缺失值处理:检查数据中是否存在缺失值,采用填补或删除等策略处理。
异常值检测:识别和处理数据中的异常值,如Z-score或IQR(四分位距)方法识别和处理异常值。
标准化/归一化:对特征数据进行标准化或归一化,以消除量纲的影响。
基于ID预测y2:
分析ID与y2之间的关系,探索是否存在线性或非线性关系。(绘制ID与y2的散点图,观察是否存在可识别的模式或趋势。)
根据探索结果,选择合适的模型(如线性回归、决策树等)进行训练和预测。
使用predict.csv中的ID进行y2的预测,并填入submit.csv文件。
首先,绘制id与y2的散点图进行分析,得出存在一定的非线性关系,下面我们将可以使用非线性拟合进行预测,如下所示
这里我们使用四阶多项式拟合,得到R^2为0.976,具有较好的结果
l 问题2: 对数据中的某些特征进行分析,建立预测y1的模型,选择不超过10个特征指标。
特征选择:
对data.csv中的特征进行分析,选择对y1预测最有影响的10个或更少特征。(可以使用Pearson、Spearman或Kendall相关系数根据数据特点选择)
可以采用相关性分析、主成分分析(PCA)等方法进行特征选择。
模型构建与验证:
基于选择的特征构建预测模型,可尝试多种模型如支持向量机、随机森林等。
通过交叉验证等方法评估模型性能,使用k-fold交叉验证来优化模型参数并防止过拟合。
结果预测:
使用适当的性能指标,如均方误差(MSE)或决定系数(R^2)
使用选定的模型对predict.csv数据进行预测,并将结果填入submit.csv。
问题二为了方便给大家展示,我们使用SelectKBest 方法结合 f_regression 函数从训练数据集中选择对目标变量 y1 影响最大的10个特征(y1,y2,x1 到 x100 中)。这个方法评估每个特征对于目标变量的统计显著性,选择最重要的特征。选择随机森林回归器作为预测模型,使用选定的特征和训练数据集来训练模型,在预测数据集上应用相同的特征选择方法,确保预测时使用的特征与训练模型时使用的特征一致。
l 问题3: 分析y3与其它特征间的函数关系,建立y3的预测模型,进行特征指标的灵敏度分析。
探索y3与其他特征的关系:
使用可视化工具(如散点图矩阵)和统计测试(如ANOVA)分析特征与y3之间的关系。
建模与优化:
使用适当的算法(如多元线性回归、神经网络)构建模型。
进行参数调优,如使用网格搜索。
灵敏度分析:
分析模型对输入特征变化的敏感度,确定对预测结果影响最大的特征。
结果预测与验证:
预测predict.csv中的y3值,填入submit.csv,并评估模型的泛化能力。
对于问题三的预测,基本与问题二思路相同
对于灵敏度分析首先选择了影响y3最大的特征,然后依次排除每个特征,重新训练模型,并计算均方误差(MSE)。通过可视化每次排除特征后的MSE变化,我们可以直观地看到每个特征的重要性。
l 问题4: 分析类别“class”与其它指标之间的关系,建立分子的类别预测模型。
关系探索:
分析class与其他特征之间的关系,识别影响分类结果的关键特征。
分类模型构建:
采用分类算法(如逻辑回归、决策树、神经网络)构建模型。
评估模型效果,可能需要调整参数和算法。
结果提交:
对predict.csv进行分类预测,结果填入submit.csv。
l 问题5: 描述提高模型预测精度的方法,重新对特定指标及类别进行预测。
方法探索:
研究和尝试不同的算法和技术,如集成学习、深度学习等。
探索特征工程的高级技术,如自动特征提取、特征学习等。
模型优化与测试:
优化模型配置,进行广泛的参数调整和测试。
使用更复杂的模型和算法组合,评估性能提升。
结果验证与提交:
使用优化后的方法重新预测y1, y3和class。
验证方法的有效性,并将预测结果提交。