爬虫
wangjun0708
这个作者很懒,什么都没留下…
展开
-
Python3.6+Scrapy爬取知乎用户数据,保存到MongoDB和CSV文件
最近写了一个爬虫,爬取知乎用户数据,将爬取的数据保存在一个csv文件和MongoDB数据库。经测试可以一次性爬取数万条数据,而不被ban掉。代码见:https://github.com/wangjun1996/zhihuUser_spider (运行项目中 zhihuUser/main.py 即可开始爬虫) 爬虫目标爬虫要实现的内容有:1.从一个大V用户开始,通过递...原创 2018-12-03 15:08:19 · 1207 阅读 · 0 评论 -
Python3.6+Scrapy爬取58同城二手房数据,保存到MongoDB和CSV文件
爬取58同城二手房数据,将爬取的数据保存在一个csv文件和MongoDB数据库。代码见:https://github.com/wangjun1996/58tongcheng_spider(运行项目中 zhihuUser/main.py 即可开始爬虫) 本人爬取的是大连市的二手房数据,若要爬取其他城市数据,修改 tongcheng\spiders\tongcheng_spider...原创 2018-12-03 16:01:18 · 3227 阅读 · 0 评论