通过 python+scrapy+redis+MongoDB 编写的新浪微博爬虫程序
主要加入redis的set数据结构来做指纹去重和历史记录
github地址:https://github.com/linderong/sina_weibo_spider
clone:git@github.com:linderong/sina_weibo_spider.git
通过 python+scrapy+redis+MongoDB 编写的新浪微博爬虫程序
主要加入redis的set数据结构来做指纹去重和历史记录
github地址:https://github.com/linderong/sina_weibo_spider
clone:git@github.com:linderong/sina_weibo_spider.git