数据仓库 VS 仓库
数据库面向业务存储,仓库面向主题存储,较高层次对分析对象数据的一个完整并且一致的描述
数据获取:数据仓库
数据库针对应用(OLTP) 仓库针对分析(OLAP)
数据库组织规范,仓库可能冗余,相对变化大,数据量大
数据获取2:监测与抓取
1.直接解析网页,接口,文件信息
python常用工具:
urlib urlib2,reques、scrapy
数据获取3:填写、埋点、日志
用户填写信息
app或者网页埋点(特定流程的信息记录点)
操作日志,日志内容更加精简一些,日志也会汇总到数据仓库,前端日志,后端日志
数据学习网站和数据集网站
数据竞赛网站(kaggle&天池)
数据集网站(imageNet/Open Images)
各领域统计数据(统计局、政府机构、公司财报)
方差越大说明数据越离散,方差越小,说明数据越集中
正态分布: