蜘蛛/爬虫程序的多线程控制（C#语言）

在《爬虫/蜘蛛程序的制作（C#语言）》一文中，已经介绍了爬虫程序实现的基本方法，可以说，已经实现了爬虫的功能。只是它存在一个效率问题，下载速度可能很慢。这是两方面的原因造成的：

1.       分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作（C#语言）》中已经介绍了爬虫程序的两个步骤：分析和下载。在单线程的程序中，两者是无法同时进行的。也就是说，分析时会造成网络空闲，分析的时间越长，下载的效率越低。反之也是一样，下载时无法同时进行分析，只有停下下载后才能进行下一步的分析。问题浮出水面，我想大家都会想到：把分析和下载用不同的线程进行，问题不就解决了吗？

2.       只是单线程下载。相信大家都有用过网际快车等下载资源的经历，它里面是可以设置线程数的（近年版本默认是10，曾经默认是5）。它会将文件分成与线程数相同的部分，然后每个线程下载自己的那一部分，这样下载效率就有可能提高。相信大家都有加多线程数，提升下载效率的经历。但细心的用户会发现，在带宽一定的情况下，并不是线程越多，速度越快，而是在某一点达到峰值。爬虫作为特殊的下载工具，不具备多线程的能力何以有效率可谈？爬虫在信息时代的目的，难道不是快速获取信息吗？所以，爬虫需要有多线程（可控数量）同时下载网页。

 

好了，认识、分析完问题，就是解决问题了：

 

多线程在C#中并不难实现。它有一个命名空间：System.Threading，提供了多线程的支持。

要开启一个新线程，需要以下的初始化：

ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置：即每个线程都执行DownLoad()，注意：DownLoad()必须为不带有参数的方法

Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类

downloadThread.Start();//开启线程

 

由于线程起始时启动的方法不能带有参数，这就为多线程共享资源添加了麻烦。不过我们可以用类级变量（当然也可以使用其它方法，笔者认为此方法最简单易用）来解决这个问题。知道开启多线程下载的方法后，大家可能会产生几个疑问：

1.       如何控制线程的数量？

2.       如何防止多线程下载同一网页？

3.       如何判断线程结束？

4.       如何控制线程结束？

 

下面就这几个问题提出解决方法：

1.       线程数量我们可以通过for循环来实现，就如同当年初学编程的打点程序一样。

比如已知用户指定了n（它是一个int型变量）个线程吧，可以用如下方法开启五个线程