数模国赛——数据统计类赛题

模型准备（数据预处理和初步分析）

数据搜集

数据预处理

①数据清洗（删除处理无关/缺失/异常值）
②数据集成（合并多个数据源）
③数据规约（降低数据维度）
④数据变换（规范化、离散化、数字化）

数据清洗

①清洗对象：缺失值、无关值、重复值、异常值

缺失值处理

①删除含有缺失值的记录（适用于缺失数据量不大且不影响整体数据分布的情况）
②使用平均值、中位数、众数进行填充
（a）数值型数据：平均值/中位数（考虑数据分布情况选择填充策略）
（b）分类型数据：通常使用众数填充
③不处理（可以证明缺失值存在的合理性）

异常值检测与处理

①基于统计方法的异常值检测：（a）3sigema原则

②基于可视化的异常值检测：箱线图（适用于大多数情况）

③异常值修正或处理：等同于缺失值处理

箱线图

去除重复数据

①：根据所有列或指定检测重复记录：
（a）使用特定的数据标识符或组合列检测重复
（b）确保数据的完整性和一致性
②删除重复记录：
（a）根据业务逻辑选择保留哪些记录
（b）保持数据集的简洁性

数据变换

数据集成

数据归约

①数据归约：对数据集进行处理，以减少数据的维度，同时保留数据集的关键特征和信息。
②：维归约、数量归约、数据压缩

维归约

数量归约和数据压缩

数据变换

数据分析

模型的建立