通用爬虫技术框架是什么？

通用爬虫技术框架爬虫系统首先会从互联网页面中精心选择一部分网页，然后以这些网页的链接地址作为种子URL，再将这些种子放入待抓取URL队列中，之后爬虫从待抓取URL队列依次读取，并通过DNS解析URL，再将链接地址转换为网站服务器对应的IP地址。

 

然后将其和网页相对路径名称交给网页下载器处理，网页下载器则负责页面的下载。对于下载到本地的网页，一边将其存储到页面库中，等待建立索引等后续处理，另一边将下载网页的URL放入已抓取队列中，这个队列即记录了爬虫系统已经下载过的网页URL，可以以此避免系统的重复抓取。

对于刚下载过的网页，从中可以抽取出包含的所有链接信息，并在已下载的URL队列中进行检查，如果发现还没有被抓取过的链接，则会放到待抓取URL队列的末尾，在之后的抓取调度中再次下载这个URL对应的网页。

如此循环，直到待抓取URL队列为空，这代表着爬虫系统将能够抓取的网页已经被悉数抓完，此时又完成了一轮完整的抓取过程。

品易云全球HTTP已向多知名网站提供服务，支持API批量使用，支持多线程高并发使用。