数据分析与建模的基础知识

一、数据分析的概念

数据获取→数据清洗→统计分析→可视化→形成结论→验证结论→应用结论

根据这个图可以看下自己在哪方面还有缺腿，想往哪个方向发展。

1数据获取

2数据清洗

- 完整性：通过其他信息、前后数据补全、剔除多余数据

- 唯一性：按主键去重，合并同一主键下的数据

- 权威性：保证原始数据的准确性

- 一致性：建立数据体系，如指标体系、维度、单位、频度、数据格式

- 合法性：设定强制合法规则、字段内容及格式合法规则、离群值人工特殊处理

 

二、数据可视化的概念和方法

可视化场景：交通数据、地理信息、数量对比、时间序列、多维度展示、统计检验

常用工具：Tableau、DataV、Excel、R/Python

 

三、数据分析的常用模型<