参照国赛优秀论文C065
数据预处理
1.删除不符合要求的成分数据
赛题中有提到有效数据
2.对缺失值进行填充
0.04作为检测的下限可直接填充
3.中心对数比变换
中心对数变换(CLR)是一种针对成分数据的重要转换方法,它通过将成分数据转换为对数比值,有助于在统计分析中更有效地处理这类数据的特性。
【2024_CUMCM】中心对数变换(CLR)[附代码]_clr变换-CSDN博客
中心对数比变换(Centered Log Ratio Transformation,CLR)的原理及scikit-bio介绍-CSDN博客
spss中心对数比变换 - CSDN文库
在数据分析和统计建模中,成分数据是一种特殊类型的数据,其特点是各组成部分之和为一个常数(通常为1或100%)。这种数据在地质学、化学以及生物学等领域非常常见。
例如,地质样品中的元素比例、化学反应物的质量百分比等都属于成分数据。由于成分数据的闭合性质(即部分之和为固定值),直接在这种数据上进行统计分析会导致一些问题,如信息丢失和多重共线性。为了解决这些问题,研究人员提出了包括中心对数比变换(CLR)在内的多种数据转换方法。
多重共线性(Multicollinearity)是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或难以估计准确。
pro1
1.卡方检验、Fisher精确检验
卡方检验:总样本数>40且每个类别的理论频数>=5,类型
Fisher精确检验:对不符合卡方检验的小样本数据,纹饰和颜色
知识小结------数据分析------Fisher‘s exact test(费希尔检测)_fisher鈥檚 exact test-CSDN博客
如何在 SPSS 中执行 Fisher 精确检验 - Statory (statorials.org)
费舍尔精确检验:综合指南 (statisticseasily.com)
2.描述性统计(画箱线图)
描述性统计分析 Descriptive Statistical Analysis_工具变量的描述性统计结果-CSDN博客
数据分析之描述性统计分析_描述性统计分析怎么写-CSDN博客
3.预测模型(利用均值差)
pro2
1.支持向量机(SVM)
依据附件数据分析高钾玻璃、铅钡玻璃的分类规律。
先考虑逻辑回归,样本数据过少,出现过拟合。(上篇学习的优秀论文用了该方法,有待验证或改进)
故选用小样本、高维模式识别的SVM。
《机器学习》 SVM支持向量机 推导、参数解析、可视化实现-CSDN博客
机器学习(九):支持向量机SVM(超详细理论基础)_支持向量机的分类模型-CSDN博客
机器学习 | 一文看懂SVM算法从原理到实现全解析-CSDN博客
2.层次聚类模型
对于每个类别选择合适的化 学成分对其进行亚类划分,给出具体的划分方法及划分结果。
原理+代码|详解层次聚类及Python实现/层次树怎么看/如何从层次树中查看聚类过程(附源数据)_层次聚类分析图怎么看-CSDN博客
清风数学建模学习笔记——系统(层次)聚类原理详解及案例分析_层次聚类例题-CSDN博客
聚类算法:Hierarchical Clustering层次聚类_层次聚类算法-CSDN博客
由于层次聚类属于无监督学习,其结果只能反映样本中化学成分的相似性。为了给出更为明确的分类依据,我们选取支持向量机寻找边界。
同样的,在观察层次聚类中各成分之间的散点图特征后,我们选择使用线性核函数的二分类支持向量机对亚类展开进一步分析。
3.敏感性分析
对分类结果的合理性和敏感性 进行分析。
pro3
1.多重SVM分类器
对附件表单 3 中未知类别玻璃文物的化学成分进行分析,鉴别其所属类型
2.敏感性分析
未看到有表述,感觉这块可能有些问题。
pro4
针对不同类别的玻璃文物样品,分析其化学成分之间的关联关系,并比较不同类 别之间的化学成分关联关系的差异性。
1.主成分分析法(PCA)
主成分分析(PCA)及其可视化——python_主成分分析流程图-CSDN博客
清风数学建模学习笔记——主成分分析(PCA)原理详解及案例分析_x10为生均教育经费对以上指标数据做主成分分析,并提取主成分-CSDN博客
主成分分析(PCA)原理详解 - 知乎 (zhihu.com)
2.协方差双标图
8 主成分分析 | 多元统计分析讲义 (pku.edu.cn)
3.主成分矩阵图
、、、、、、
该篇论文主要输图表感觉没跟文中对应有点乱的感觉,但是正如视频讲的,该注意的点都写的很好。
22国赛C题国一经验分享+专家讲解_哔哩哔哩_bilibili非常值得一看