数据挖掘及应用（莫同老师）—— 课程笔记（三）数据预处理

目录

一、数据预处理概述

二、数据抽取

三、预处理方法

四、标签抽取

---

一、数据预处理概述

1. 瑕疵数据的存在与产生原因
2. 其他需要预处理的情况
3. 实际案例：某大型保险公司的数据挖掘应用

二、数据抽取

1. 数据可能散布在不同的业务系统和不同的渠道，所以需要先汇集起来。
2. 金蝶ETL 解决方案案例
   1. 数据抽取、转换、装载的过程
   2. ETL的前提
   3. ETL的原则：主动拉取，而不是推送
3. 数据质量：
   1. 正确性
   2. 完整性
   3. 一致性
   4. 完备性
   5. 等等很多
4. 数据质量原因
5. ETL过程
   1. 数据抽取
   2. ETL执行的异常处理
6. 构建数据仓库
   1. 数据仓库（DW）
   2. 数据库（DB）
7. 多种数据形态
   1. 关系型数据库（特点和不足）
   2. 键值对模型
   3. 文档模型
   4. 列族模型
   5. 图模型

三、预处理方法

1. 数据清理
   1. 遗漏值
      1. 忽略元组
      2. 人工填写
      3. 其他各