数据挖掘--学习笔记（一）

数据挖掘–学习笔记（一）

数据挖掘基本流程：

1. 定义目标
2. 获取数据
3. 数据探索
4. 数据预处理
   · 数据清洗 - 去掉脏数据
   · 数据集成 - 集中
   · 数据变换 - 规范化
   · 数据规约 - 精简
5. 挖掘建模（分类、聚类、关联、预测）
6. 模型评价与发布

---

一、定义目标

首先要明确我们的任务的目标是什么，也就是自己的任务/项目的目标是什么。比如：个性化推荐、判断西瓜甜不甜等。

二、获取数据

获取数据又叫数据选取，我们需要根据任务的目的，选择数据集。或者从实际中构造自己需要的数据。

三、数据探索

主要探索数据的特征的等相关信息，便于对数据作出分析：

1. 探索类别特征,查看每个类别特征有多少种类
2. 探索数值特征,离散化方式
3. 去除大多数是同一值的特征
4. 处理时间型特征

详见：数据探索方法汇总

四、数据预处理

1）数据清理：忽略元祖、人工填写缺失值、使用属性的中心度量填充、给定同一类所有样本的属性均值或中位数填充、最可能的值填充。
详见：数据清理
2）数据集成：实体识别、冗余和相关分析(卡方检验，相关系数，协方差等，用spss比较方便)
详见：数据集成
3）数据规约：维规约(小波变换和主成分分析，最常用)、数量规约(较小的数据替代原始数据)、数据压缩(有损无损两种，尤其对于图像视频等多媒体常用)
详见：数据规约
4）数据变换和数据离散化：数据变换:光滑，属性构造，聚集，规范化，离散化和概念分层。
详见：数据变化和数据离散化

五、挖掘建模

根据机器学习模型优缺点，选择适宜本任务的最佳模型。其中一种方式是对每个模型都进行训练，再统计测试数据的误差，选择误差最小的模型。
另外，还需要调整模型的参数，使得模型表现尽可能最优。主要方法有手动调优、网格搜索、随机搜索以及基于贝叶斯的参数调优方法。

详见：机器学习调参-模型选择
机器学习算法

六、模型评价与发布

分析的对象主要是模型的优缺点(或者叫模型的评估)，客观公正的评判自己的作品(能有高手帮忙最好啦)能清醒自己的认知。改进就是从分析当中来。
详见：模型评估方法汇总