爬虫
Leslie_Leung
这个作者很懒,什么都没留下…
展开
-
selenium+beautifulsoup+pandas爬取百度学术
环境 requirements: BeautifulSoup selenium(with headless Chrome) pandas BeautifulSoup用来解释html,用selenium代替requests进行请求(原因后面会讲到),用pandas存储 搜索页url 打开百度学术输入关键字回车后可以看到当前的url是 http://xueshu.baidu.com/s?wd=自然语...原创 2019-05-21 14:29:01 · 2283 阅读 · 0 评论 -
爬取JD商品评论并数据可视化
本文参考了知乎文章 https://zhuanlan.zhihu.com/p/60444767 思路 阅读文章后发现原来还可以通过抓取json的方式爬评论,不需要再去一个个数据去找页面标签等等复杂的操作,直接请求然后解析返回的json数据(超级整齐)。 requirements requests pyecharts pandas jieba wordcloud matplotlib 爬取评论 先...原创 2019-05-30 20:17:23 · 2733 阅读 · 0 评论