![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Heritrix
wliufu
这个作者很懒,什么都没留下…
展开
-
Heritrix源码分析之URI调度详解
一. 简述URI调度,简单的来说就是提供一个分配URI和加入URI的方法,抓取线程通过分配URI获取待抓取URI,抓取分析完成后需要把希望继续抓取的URI加入到调度器内,等待调度。Heritrix的CrawlController是通过定义一个 private transient Frontier frontier 来实现调度器的管理的,Heritrix提供了若干个调度器的实现,当然...原创 2013-05-20 15:50:31 · 185 阅读 · 0 评论 -
Heritrix源码分析之URI调度详解
一. 简述URI调度,简单的来说就是提供一个分配URI和加入URI的方法,抓取线程通过分配URI获取待抓取URI,抓取分析完成后需要把希望继续抓取的URI加入到调度器内,等待调度。Heritrix的CrawlController是通过定义一个Java代码 private transient Frontier frontier 来实现调度器的管...2013-05-20 23:28:24 · 107 阅读 · 0 评论