scrapy抓取知乎话题v0.1

一、简介

     抓取知乎某一子话题，赞同人数超过10的会被抓取。回答ID、赞同人数、回答时间、内容、提问被保存到mysql数据库中，支持更新(多次抓取时对于同一回答的ID只更新赞同人数)。

usage:

scrapy crwal zhihu

二、效果：

抓了一个通宵将编程子话题全部抓完，抓取了13M的内容，下面是保存为json的数据。

但是，数据量一大用json来保存就很不方便了，文本格式化都会被卡住，查找更新操作更不用考虑了。

之后改进代码，用mysql来存储。

看效果吧。

三、下载地址

http://download.csdn.net/detail/wxq714586001/8832799

四、TODO

敬请期待v0.2。