轻量级爬虫框架

轻量级爬虫框架

2018-02-12

 

1【转】设计和实现一款轻量级的爬虫框架 【代码】

 

• 调度器(Scheduler)：是队列，保存请求队列和响应队列
• 下载器(Downloader)：通过请求队列中的请求拉数据，把结果保存到响应队列
• 爬虫(Spiders):对响应队列中响应通过css（根据不同网站配置）来获取需要的内容和url，需要的内容放到管道，url放到请求队列。
• 管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。
• 引擎(ElvesEngine)：流程控制