![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
thread
lovepoem
https://wangxin.io/
展开
-
[转]nutch1.2断电或者断网后继续爬取的方式
最近用nutch抓取了几个g的数据,爬了两天了。中途要断电,网上找到别人的断点继续爬取的方式,解决了问题。 nutch抓取过程是分阶段的,每个阶段完成后都会写到文件中。附nutch抓取的阶段: (injector) ->generator -> fetcher -> crawldb updater -> linkdb updater -> indexer ->deldup -> merge原创 2016-02-23 19:09:01 · 347 阅读 · 0 评论 -
[转] 用JAVA 实现“生产者-消费者”问题
转自:http://blog.csdn.net/jaunlee/archive/2008/02/01/2077291.aspx 生产者和消费者问题是从操作系统中的许多实际同步问题中抽象出来的具有 代表性的问题。它反映了操作系统中典型的同步例子。 生产者进程(进程由多个线程组成)生产信息,例如它可以是计算进程。消费 者进程使用信息,它可以是输出打印进程。由于生产者和消费者彼此原创 2016-02-23 19:09:06 · 444 阅读 · 0 评论