[Python数据分析] 1-数据获取

1)数据仓库
    I.特点：
    1.全部事实的记录
    2.部分维度和数据的整理(数据集市)
    II.数据库与数据仓库的不同
    1.数据库面向业务存储，数据仓库面向主题存储(主题：较高层次上对分析对象数据的一个完整并且一致的描述)
    2.数据库针对应用，数据仓库针对分析
    3.数据库组织规范，数据仓库数据量大且杂乱

2)监测与抓取
直接解析网页、接口、文件的信息
常用工具：Urllib,Urllib2,request,scrapy....

3)填写、埋点、日志
用户填写信息
APP或网页埋点(特定流程的信息记录点)
操作日志

4)计算
通过已有数据计算生成衍生数据

5)学习网站
    竞赛相关：Kaggle，天池
    数据集网站：imageNet
    各领域统计数据