Heritrix之旅之ToeThread

 

原文链接：http://www.cnblogs.com/MichaelYin/archive/2011/10/07/2200412.html

Heritrix是一个多线程的程序，里面使用工作线程来处理url，这些工作线程称为torThreads，这些toethread统一的被ToePool所管理,Toepool通过setSize方法来管理运行的toethread数目

view source print ?

00	public void setSize(int newsize) {

01	targetSize = newsize;

02	int difference = newsize - getToeCount();

03	if (difference > 0) {

04	// must create threads

05	for (int i = 1; i <= difference; i++) {

06	startNewThread();

07

}

08

} else {

09	// must retire extra threads

10	int retainedToes = targetSize;

11	Thread[] toes = this.getToes();

12	for (int i = 0; i < toes.length; i++) {

13	if (!(toes[i] instanceof ToeThread)) {

14

continue;

15

}

16	retainedToes--;

17	if (retainedToes >= 0) {

18	continue; // this toe is spared

19

}

20	// otherwise:

21	ToeThread tt = (ToeThread) toes[i];

22	tt.retire();

23

}

24

}

25

}

ToeThread从Frontier中获取待处理的url，然后ToeThread对url进行一系列的处理，当所有的处理流程完成之后，调用Frontier的finished方法告知url抓取完毕，ToeThread重新获取新的url

这是ToeThread中的run方法的代码

view source print ?

00	//从Frontier处获取待处理的url

01	CrawlURI curi = controller.getFrontier().next();

02

03	synchronized(this) {

04	continueCheck();

05	setCurrentCuri(curi);

06

}

07

08	//对url进行处理

09	processCrawlUri();

10

11	setStep(STEP_ABOUT_TO_RETURN_URI);

12	continueCheck();

13

14	//通知Frontier已经完成

15	synchronized(this) {

16	controller.getFrontier().finished(currentCuri);

17	setCurrentCuri(null);

18

}

19	结合前面Frontier的图，可能看的就会明白一点了。