近期多项数学建模竞赛陆续展开,2024“华数杯”已于8月4日开赛,题目类型、难度和国赛类似,所以“华数杯”比赛也可作为9月份国赛前的全真模拟赛。
对于首次参赛的数据分析新手,如何在短时间内提升自己队伍的竞争力?关键在于掌握常用模型和算法,并能熟练运用软件工具。数学建模常用模型大致可分为五类:
-
评价模型
-
预测模型
-
分类模型
-
优化模型
-
统计分析模型
下面将对这些模型的分析步骤以及软件操作进行详细介绍。
一、数学建模常用五类模型
-
评价模型(Evaluation Model)
评价模型主要用于衡量和评估某个对象或过程的性能、效果或质量。通过定义一系列指标和标准,评价模型帮助我们定量或定性地判断研究对象的优劣,并为改进和优化提供依据。在数学建模竞赛中,评价模型用于衡量方案或系统的效果和性能。通过设定具体的评价指标,如准确性、稳定性和效率,竞赛团队可以定量比较不同方案的优劣,进而选择最优的解决方案。
-
预测模型(Prediction Model)
预测模型利用历史数据和统计方法来预测未来的趋势或结果。预测模型在数学建模竞赛中用于预测未来的趋势或结果,基于历史数据和相关变量。竞赛团队可能使用时间序列分析、回归模型或机器学习算法,应用于诸如市场需求预测、人口增长预测等题目。
-
分类模型
分类模型是一种机器学习模型,用于将输入数据分配到预定义的类别中。分类模型在数学建模竞赛中用于将数据分配到预定义的类别中。竞赛题目可能涉及数据分类的问题,如垃圾邮件检测、信用风险评估等,参赛团队可能使用决策树、支持向量机或神经网络来解决这些问题。
-
优化模型(Optimization Model)
优化模型在数学建模竞赛中用于寻找某个目标函数的最优解,通常在特定的约束条件下。竞赛题目可能涉及资源分配、物流配送或生产计划等问题,团队可能使用线性规划、整数规划或其他优化算法来寻找最优解。
-
统计分析模型(Statistical Model)
除了以上四大模型,在数学建模一些小问题的分析中,还会涉及到其他比较简单的统计分析模型,参赛团队可能需要进行数据处理、描述统计、相关分析、假设检验等。通过分析数据的统计特性,揭示数据背后的规律和关系。
其中评价模型、预测模型、分类模型、统计分析模型一些常用算法如下:
二、评价模型
数学建模中评价类模型的常用算法有层次分析法、灰色关联法、模糊综合评价、TOPSIS法、数据包络分析、组合评价法等。
1 层次分析法
层次分析法是一种多准则决策方法,常用于复杂系统的分析和评价。它通过将复杂问题分解为若干层次和因素,并按照不同因素的重要性进行打分,最终通过合成各层权重得出不同方案的总体评价。AHP的优点在于能够将定性分析与定量分析相结合,结构清晰,易于操作。然而,它也存在主观性较强、一致性检验可能失效等缺点。
AHP层次分析法包括两个步骤,分别是权重计算和一致性检验(SPSSAU会默认输出);
2 灰色关联法
灰色关联分析法通过研究数据关联性大小(母序列与特征序列之间的关联程度),通过关联度(即关联性大小)进行度量数据之间的关联程度,从而辅助决策的一种研究方法。
(1)灰色关联法分析步骤:
第一步:确定母序列和特征序列,且准备好数据格式;
第二步:针对数据进行无量纲化处理(通常情况下需要);
第三步:求解母序列和特征序列之间的灰色关联系数值;
第四步:求解关联度值;
第五步:对关联度值进行排序,得出结论。
3 模糊综合评价
模糊综合评价是一种处理不确定性和模糊性问题的数学建模方法,它利用模糊数学的理论,将定性评价转化为定量评价。
(1)模糊综合评价分析步骤
第一步:确定评价指标和评语集;
第二步:确定权重向量矩阵A和构造权重判断矩阵R;
第三步:计算权重并进行决策评价。
4 TOPSIS法
TOPSIS法即逼近理想解排序法,是一种多属性决策分析工具。该方法通过计算每个方案与理想解和负理想解的距离,来确定各方案的相对优劣。TOPSIS法能够较好地处理多属性决策问题,特别适用于需要考虑多个评价指标的情况。
(1)TOPSIS法分析步骤
第一步:准备好数据,并且进行同趋势化处理(需要研究者自行处理);
第二步:数据归一化处理解决量纲问题(数据处理->生成变量,通常选择‘平方和归一化’);
第三步:找出最优和最劣矩阵向量(SPSSAU自动处理);
第四步:分别计算评价对象与正理想解距离D+或负理想解距离D-;
第五步:结合距离值计算得出接近程序C值,并且进行排序,得出结论。
5 数据包络分析DEA
数据包络分析DEA是一种多指标投入和产出评价的研究方法。其应用数学规划模型计算比较决策单元(DMU)之间的相对效率,对评价对象做出评价。
数据包络分析DEA时,首先需要分析综合效益值θ,即首先判断DMU是否有DEA有效,如果有效,则说明该DMU较优,反之说明‘非DEA有效’,即相对来说还有提升空间,那么提升空间具体在哪里呢,比如提高还是减少规模呢,可以通过规模效益分析得到。与此同时,如果是‘非DEA有效’,那么具体问题是什么,投入冗余还是产出不足,则可以通过对应的投入冗余或产出不足分析表格得出,具体数字直接查看松驰变量即可。
6
组合评价法
组合评价法是指将两种或两种以上的评价方法结合起来使用,以弥补单一评价方法的不足,提高评价结果的准确性和可靠性。
-
组合评价法分析步骤:
第一步:选择评价方法,根据评价问题的特点,选择几种适合的评价方法,这些方法可以是定性的也可以是定量的。
第二步:使用每种选定的评价方法对同一组对象进行独立评价,得到各自的评价结果。
第三步:将不同评价方法得到的结果进行整合,整合方式可以是简单的加权平均、排序合并,也可以是更复杂的统计或算法模型。
第四步:一致性检验,检查不同评价方法的结果是否一致,如果不一致,分析原因并考虑调整评价方法或权重分配。
第五步:根据整合后的结果,对评价对象进行最终评价。
三、预测模型
预测类模型的常用算法有回归分析预测、时间序列预测、灰色预测模型、马尔科夫预测、神经网络、支持向量机等。
(1)回归分析预测
(2)时间序列预测
(3)机器学习预测
四、分类模型
数学建模中常用的分类模型有逻辑回归、决策树、随机森林、朴素贝叶斯、KNN等。
1 逻辑回归
逻辑回归是一种广泛应用于分类问题的统计方法,尽管其名称包含“回归”,但它实际上也是一种用于二分类或多分类问题的分类算法。逻辑回归通过估计一个事件发生的概率来预测类别标签,由于其简单、易于理解和实现,以及在分类问题中的有效性,成为了机器学习和数据分析中非常流行的算法。
2 决策树、随机森林等
决策树、随机森林、朴素贝叶斯、KNN这几种方法均属于机器学习算法,在SPSSAU的机器学习模块中,选择对应分析方法进行分析即可。
五、统计分析模型
除以上常见的四大模型,在分析各个小点的时候,数学建模还会涉及一些简单的统计分析方法,比如差异性分析、相关性分析、回归分析、聚类分析、数据降维分析等,具体常用方法如下:
1 差异性分析
数学建模中常用的差异性分析方法包括t检验、方差分析、卡方检验等,它们可以用于判断样本和总体之间是否存在显著差异,以及变量之间是否存在相关性或影响关系。
2 相关性分析
相关分析用于分析变量之间的相关关系,包括是否有关系以及关系的紧密程度。在数学建模中,相关分析可用于衡量变量的关联性、选择变量、验证假设和推断、变量优化等。SPSSAU提供三类相关系数:Pearson系数、Spearman系数、Kendall协调系数。
-
三类相关系数及使用场景:
3. 回归分析
回归分析简单来讲就是用于分析自变量X与因变量Y之间的影响关系的方法。回归分析主要基于自变量X的值预测因变量Y的值,通过构造回归模型,帮助理解自变量如何影响因变量,以及各个自变量对因变量的影响程度。
回归分析可细分为40多种,常用的有多元线性回归、logistic回归、岭回归、逐步回归、lasso回归等。
4 聚类分析
聚类分析方法可分为Q型聚类和R型聚类,如下图:
5 数据降维
因子分析和主成分分析都是常用的数据降维方法,但它们的应用场景略有不同。主成分分析适合于变量之间相关性较高、需要提取重要变量或简化数据结构的情况;而因子分析适合于探索潜在因素、发现变量之间的共性或隐含关系的情况。选择哪种方法取决于具体的分析目的和数据特征。