数据分析与数据挖掘实践(1)——数据获取

1.数据分析的含义：使用统计分析的方法，提取有用的信息，总结和概括的过程。

2.数据分析流程：数据获取-探索分析与可视化（数据分析）-预处理数据-分析建模-模型评估（数据挖掘）

1. 数据获取

##1. 数据仓库
将所有业务书经汇总处理，构成数据仓库
记录全部事实
部分维度与数据的整理（数据集市-DM）
#数据仓库和数据库的区别
1.仓库面向主题存储，数据库面向业务存储
2.数据库针对应用，仓库针对分析
3.数据库组织规范，仓库冗余且相对数据量大
##2. 检测与抓取
1.直接解析网页，接口，文件的信息
urllib,urlib2,requests,scrapy
beautifulsoup,xpath
##3.填写，埋点，日志
##4.数据学习网站：
1.Kaggle
2.天池
3.Imagenet