数据获取手段
- 数据仓库
- 监测与抓取
- 填写,日志,埋点
- 计算
1. 数据仓库
2.检测与抓取
其中,urllib,urllib2,requests,scrapy主要用于数据抓取 xpath主要用于分析提取有价值的内容 phantomjs,beautifulsoup主要用于可视化展示3.填写,埋点,日志
前端日志需要传输到服务器才能获取 后端日志可以直接处理
4.计算
好用的数据学习网站
1.kaggle
- Competitions: 一些企业把自己的数据集放在上面,并提供一些奖金让大家研究这个数据集 -Datasets: 公司企业,个人,组织,都可以把数据放在这里,这里的数据与项目相对比较简单
- Kernels:可以建立运行脚本(script)或者代码片(notebook)来在线编程
- Discussion:数据论坛,可以发言自己的观点,评论等
- Jobs:关于数据相关工作的职位的招聘