基于浏览器内核的被动式爬虫任务下发框架

基于浏览器内核的被动式爬虫任务下发框架

现有基于浏览器的客户端测试框架通过ChromeDriver这类组件来主动控制，但主动控制有缺点：

1. 重新load下一个页面时，上一个页面可能仍有JS代码在执行，或者网络层的连接阻塞、UI线程阻塞什么的；
2. 通过WebView接口注入执行的JS代码可能因为各种情况意外出错，出错的话无法获得通知
3. 无法可靠地向浏览器查询，获得当前任务是否已经执行完成的信息

这里给出一个简单的基于修改chromium内核，进行被动控制的思路及流程如下：

1. 浏览器启动时，通过一个‘给定的任务下发Web服务URL’获得一次‘爬虫任务描述’，包含下列信息：
   1. target_url: 要抓取的页面的URL
      • 可选的task_id（假如target_url属性还不能用于对任务的唯一描述的话）
   2. inject_js: 要注入的客户端爬虫JS代码
   3. post_notify： 任务完成时的一个HTTP POST地址

      （这意味着任务描述需要作为一条记录保存在数据库中，包含‘是否已下发’，‘是否已完成’信息）

      要点是这里“分布式微服务