浅谈数模竞赛中的数据挖掘

首先，数据收集的数据包括数模竞赛题目给定的数据和自己搜集的数据，这些统称为原始数据。接下来这些数据将被清洗（删除异常值、填补空白值），得到的就是清洗后的数据。然后将这些数据进行指标量化、合并，提取其特征。在这之后，就是评价给定目标的环节。FCE（模糊综合评价法）、DEA（数据包络分析法）、PCA（主成分分析法）、TOPSIS（理想解法）、AHP(层次分析法)等等。

数据的收集包括硬件、软件、人工三个手段。

数据预处理包括1特征提取：就是将大量的原始文件、系统日志、商业交易等转化为有意义的数据库特征。2清洗与集成：数据清洗是指处理错误或缺失的条目，维护一致性；特征选择是将高维特征空间转化为更适合分析的新的数据空间；数据转换指的是将一些属性转化为另一种相同的或者类似的数据类型的属性。3分析过程与算法：通过数据挖掘过程基本模块解决个性化应用。

重点提及一下数据清洗的具体方法。在数据清洗中，我们通常把被测量变量的随机误差或者方差称为噪声。具体清洗方法有光滑法、领域知识约束法、检测法（利用数据的统计行为检测异常点）。

此外数据规约在数据准备阶段也有着很大的作用。数据归纳可以更简洁地表示数据，但仍然接近于保持数据的完整性。