2021-10-09数据分析--系统认识数据分析

一、什么是数据分析

观测、实验、应用

二、重新认识数据分析

观测：对数据形成客观量化的认知（报表、图表、仪表盘）
实验：发现规律、验证假设（科学研究、A/B测试）
应用：不断基于数据反馈迭代产品

三、观测

**观察：**采集数据、储存数据、展示数据
采集数据
1.解析系统日志
2.埋点获取新数据
3.通过传感器采集
4.爬虫（解析网站）
5.API（平台API文档，用API获取数据）
储存数据
各类数据库hive、myslq、presto、impala（数据工程师）、连接数据库取数
展示数据：可视化高效传达信息
**测量：**设定标准、发现异常、研究关系

四、分析数据的目的是什么？

1、及时发现异常
2、找到数据之间的因果关系
数据是客观统一的：有统一的认知才能有共同的目标
设定标准+发现异常
研究关系：可视化查看相关性、建模推导相关性
实验提出假设，然后验证假设

所有未经过事实数据验证的想法都是假设
设计A/B测试获取数据
如何在业务只有少量数据时设计数据实验？
如何在无法同时测试两个版本时比较数据？

五、如何应用数据价值

基于数据反馈不断迭代产品和业务策略
明确业务的目标，拆解目标，得到标准值
将数据应用于业务、算法
（1）为算法设定明确的业务目标
（2）为算法提供高质量的数据
（3）判断算法是否真的创造了实际价值
（4）帮助业务更好的使用算法

基于数据和算法的竞争，无时无刻不在互联网行业上演
基于数据训练算法，让机器自动化的完成工作