系统认识数据分析

---

前言

数据分析可以分为观测=>实验=>应用 三个部分
数据分析的目标：1.及时发现异常 2.找到数据之间的因果关系

---

一、观测

观测又可分为观察和测量两个部分
观察：采集数据 存储数据 展示数据；
测量：设定标准 发现异常 研究关系。

1.观测

1.1采集数据

一般采集数据分为四种方法：
（1）解析系统日志
（2）埋点获取新数据（自定义日志 基于系统日志新增数据 是数据分析师最常用的，也是最可控的）
（3）通过传感器采集
（4）爬虫 API（应用程序接口）

1.2存储数据

使用各种类型的数据库进行存储：如hive mysql等

1.3展示数据

通过各种可视化方式进行展示

2.测量

2.1设定标准

只有设定标准才能衡量判断异常

2.2发现异常

不符合设定标准的归入异常，而发现异常通常会有启发，并发现新的价值

2.3研究关系

使用可视化或建模推导相关性

二、实验

实验可以分为如下两个模块：
拆解问题 提出假设 设计实验；
收集数据 分析数据 验证假设

1.拆解方法

什么是拆解：拆解其实就是做加法，A=维度1+维度2+维度3+…。比如把优秀拆解成：1）有能力 2）个子高 3）家庭背景好 4）长的好看。也就是优秀=有能力（维度1）+个子高（维度2）