网络爬虫框架设计与实现

引题

最近在看go语言的编程实现，里面有这个项目，感觉不错，在这里简
要总结和学习心得，给大家一个引路，如果想要具体了解可以看《GO 语言并发实践》

项目介绍

网络爬虫就是模拟客户端用户操作，自动化爬取相关的网络信息。即根据约定好的规则，在特定的入口进行递归式查询。下载特定的信息，整理给规则制定者。网络爬虫框架是高度抽象各种网络爬虫，提供一致性的接口给调用者。

功能需求和分析

根据上面介绍大家大体了解网络爬虫的基本功能，简要的的来讲网络爬虫就是下载，分析，筛选，保存—四个步骤。主要流程如下：

• 首次请求-》下载——》分析-》筛选-》保存
• 分析-》下载

总体设计

根据上述流程图可以把项目分成如下部分：

• 网页下载器： 接收http请求，将从远程服务器获取的数据封装成固定格式的数据分发给分析器。
• 分析器：针对内容进行响应，筛选出来特定的请求和条目，转发给调用方。
• 条目处理管道：接受输入的条目，并针对其执行系列的处理。为了灵活性设计，采用多条目转发处理。由框架调用者自行定义处理流程。
• 调度器：作为核心组件，负责协调各个模块之间的协作，数据的交换和状态控制等。

详细设计

后面我将整理文章针对详每个模块提出详细实现和注意事项。