数据分析与数据挖掘基础认识

数据分析与数据挖掘

1. 数据分析和数据挖掘的基本概念

• 数据挖掘： 从大量数据中挖掘隐含的未知对决策等关系，模式和趋势，并用这些知识和规则建立用于决策支持的模型（使用算法）
• 数据分析：适当的分析方法去对收集的大量数据，提取信息和形成结论，详细研究和概括过程

2. 数据挖掘的基本任务

• 分类与预测：对目标事物进行分类预测
• 聚类分析：根据数据本身结构特征对数据点进行分类的方法，按距离近远分类，使其类内差异小
• 关联规指：从数据中发现特征或数据之间的依赖关系
• 时间序列：基于事物发展的延续性和随机性预测发展
• 差错检验
• 智能推荐

3. 数据分析流程

• 目标定义
• 数据获取
  • 网络数据
  • 历史数据
  • 实时数据
  • 抽样方式
    • 随机抽样，等距抽样，分层抽样，顺序抽样，分类抽样
• 数据探索
• 数据预处理
• 挖掘建模
• 模型评价