数据分析与数据挖掘的基础概念

一、数据分析与数据挖掘的定义

• 数据分析

  ​ 数据分析是使用适当的统计分析的方法对收集的大量的数据进行分析，提取有用的信息和形成结论而对数据加以详细研究的概括总结的过程。

• 数据挖掘

  ​ 数据挖掘是在大型数据存储库中，自动的发现有用的信息的过程。

数据挖掘的过程： 输入数据-----数据预处理（特征提取、维归约、规范化、选取数据集）-----数据挖掘-----后处理（模式过滤、可视化、模式表现）-----提供信息数据接口

数据分析与数据挖掘的共同点：投入数据—产出信息的过程。他们的不同点总结如下：

	数据分析	数据挖掘
理论基础	基于统计推断的知识（统计学、概率论、数理统计等）	需用更多的计算机工程能力（除了数学方面的知识，还需要一定的计算机能力）
数据量级	基于抽样或者相对较小的数据量	大数据
业务理解	较强	较弱
工具	关注应用（excel、sql）	更关注算法能力、存储、计算能力

二、数据分析与数据挖掘的层次

报表与查询	多维分析与警报	统计分析	预测与建模	优化
发生了什么	问题出现在了哪里？应该怎么做	为什么会出现这样的情况	将来会怎么样	如何把事情做的更好

三、数据分析与数据挖掘的三足鼎

：工具、思维、理论

1、数据处理的工具

基础：excel、
一些数据库：mysql、sql server、oracle、基于大数据的hive
数据分析数据挖掘工具：R语言、python、spss（社会学研究中做统计的软件）
大数据、数据挖掘、机器学习的重要工具spark
tableau：数据可视化工具（精美的图标）

2、数据分析的两种逻辑和套路

树和田
树：把一个事物分解成一个树状图的方式，去寻找原因。（MECE法则）
这个树状图遵行完全互斥、完全穷尽的原则
田：二维矩阵。需要将事物多个维度合并成一个整体进行分析。

3、数据分析与数据挖掘的理论框架

总分总
1、总：怎么去描述数据
2、分:怎么去做分类与预测
3、如何归纳和归类