- 博客(2)
- 收藏
- 关注
RSS订阅原创 数据分析实战二：爬取淘宝商品详情页进行分析
对淘宝商品信息进行数据分析 项目流程： 1、数据获取 2、数据清洗 3、数据分析与可视化 数据获取（爬虫） 因为淘宝数据是通过动态加载的方式显示的，所以采用selenium模拟浏览器操作爬取商品页详情信息。 爬取关键词为零食 打开淘宝搜索页，输入关键词后观察前后几页的网址变化，会发现一个规律 url=“https://s.taobao.com/search?ie=utf8&initiati...
2019-09-27 15:37:17
3226
原创 数据分析实战
招聘网站的数据分析 1、数据获取（爬取有关大数据职位的信息） 2、数据清洗 3、数据分析 4、数据可视化 流程图: 数据获取mysqlhdfs和hivehive+python离线批处理,spark实时流处理数据清洗数据分析数据可视化 数据获取(python爬虫） 嗯。。。。。因为python语言丰富的第三方库，所以本次是利用python编写爬虫，爬取网页数据。 主要代码 // An highlig...
2019-08-10 18:58:35
1630
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人