![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
杂项
文章平均质量分 83
lvvista
既然选择了自己喜欢的职业,就不要抱怨通往成功的旅途上有太多的荆棘,因为,只有用荆棘编织而成的花环才能永葆光芒和鲜活的生命气息.
展开
-
crawler4j源码分析(三)Fetcher
对于爬虫来讲,Fetcher的主要工作就是获取给定URL对应的资源,然后交给Parser处理,通常情形下,Fetcher和Parser之间通过page buffer来衔接,从而将二者之间的耦合度降到最低,不过在crawler4j中,由于每个爬取线程都有自己的parser,而所有的parser都对应一个全局的fetcher,并且fetcher的页面获取函数设计成了可重入的模式,因此也不会存在pars原创 2014-07-10 14:19:27 · 1357 阅读 · 0 评论 -
crawler4j源码分析(五)Robots协议
本节来看看crawler4j是如何支持robots协议的。对robots协议的支持原创 2014-07-12 11:28:14 · 1747 阅读 · 0 评论