【数据分析】数据挖掘基本概念

数据挖掘基本任务：分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐

 

数据挖掘建模过程：定义挖掘目标、数据取样、数据探索、数据预处理、挖掘建模、模型评价

• 定义挖掘目标
• 数据取样
  • 抽取标准（1相关性 2可靠性 3有效性）
  • 质量衡量（1资料完整无缺，各类指标齐全  2数据准确无误，反映的都是正常（非异常）状态下的水平
  • 抽样方式：随机、等距、分层、从起始顺序、分类
• 数据探索
  • 异常值分析、缺失值分析、相关分析、周期性分析等
• 数据预处理
  • 数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约
• 挖掘建模
  • 基于关联规则算法、基于聚类算法、基于分类与预测算法、基于整体优化
• 模型评价