【数据分析入门】python数据分析之数据获取方法

数据分析全过程梳理见
【数据分析入门】python数据分析全过程梳理

数据仓库

将所有业务数据经汇总处理，构成数据仓库
1.全部事实的记录
2.部分维度与数据的整理（数据集市-DM）

数据库VS 仓库
数据库面向业务存储，仓库面向主题存储(主题:较高层次上对分析对象数据的一个完整并且一致的描述)数据库针对应用(OLTP)，仓库针对分析(OLAP)
数据库组织规范，仓库可能冗余，相对变化大，数据量大

监测与抓取

直接解析网页、接口、文件的信息
Python常用工具:
urllib、urllib2、requests、scrapy
PhantomJS、beautifulSoup、Xpath(lxml)

填写、日志、埋点

用户填写信息
APP或网页埋点(特定流程的信息记录点)
操作日志

计算

通过已有数据计算生成衍生数据
如：统计报表某些项目

数据学习网站

数据竞赛网站(Kaggle&天池)
kaggle
天池
数据集网站(ImageNet/Open Images)
各领域统计数据(统计局、政府机构、公司财报等)