RAP工程选型
针对reallyinfo.rap采集项目到底用scrapy还是平坦化asyncio?首先,用还是不用是个问题,就我个人来说,无疑更喜欢asyncio,这种紧凑的流程化的编程方式;爬虫本身也不是什么大项目,基于配置的插件接口式编程有点重,尤其是面对复杂的api时,将复杂的中间件与spider逻辑分离不利于往后更新。其次,scrapy利用的twisted做下载器,目前对复杂的twisted研究甚少,面对有些错误或者空跑不知所云。最后,目前社区对asyncio的优秀支持,包括aioredis,aiom




