简易网络爬虫程序的开发(3)(c#版)

WorkThread类：

WorkThread类是工作线程类，每个工作线程类都包括一个职责链的头节点ChainMain、一个HttpServer类和一个UrlStack，其中UrlStack类采用了单构件设计模式，所以对于整个应该用程序都是使用一个UrlStack对象。

源代码如下：

namespace WebSpider
{
    /// <summary>
    /// 工作线程
    /// </summary>
    internal class WorkThread
    {
        private ChainMain _chainHeader = new ChainMain();

        private HttpServer _httpServer = new HttpServer();

        private bool _isRun = false;

        /// <summary>
        /// 职责链的头节点
        /// </summary>
        public ChainMain ChainMain
        {
            get
            {
                return _chainHeader;
            }
        }

        public HttpServer HttpServer
        {
            get
            {
                return _httpServer;
            }
        }

        public bool IsRun { get { return _isRun; } }

        public UrlStack UrlStack
        {
            get
            {
                return UrlStack.Instance;
            }
        }

        /// <summary>
        /// 工作线程入口函数
        /// </summary>
        /// <param name="url">种子url</param>
        public void Start()
        {
            try
            {
                _isRun = true;
                while (_isRun)
                {
                    //从地址堆栈中取出url
                    string url = UrlStack.Pop();
                    if (!string.IsNullOrEmpty(url))
                    {
                        string html = _httpServer.GetResponse(url);
                        if (!string.IsNullOrEmpty(html))
                        {
                            ChainMain.Url = url;
                            ChainMain.Start(html);
                        }
                    }
                }
            }
            catch
            {
            }
        }

        /// <summary>
        /// 停止工作线程
        /// </summary>
        public void Stop()
        {
            _isRun = false;
        }
    }
}

Start方法是工作线程的入口方法，它从UrlStack中取出url，并调用HttpServer的GetResponse方法取出Url对应网页的HTML代码，并将HTML代码传递给职责链的头节点ChainMain，由它的Start方法开始处理。回忆一下AbsChain的Start()方法，它是先调用自身类的Process方法，然后再调用_handler.Start（）方法，就这样把处理过程传递下去。

UrlStack类：

UrlStack类非常的简单，它采用单构件设计模式，并维护了一个数据结构，该数据结构用来存储需要爬虫抓取的Url

源码如下：

namespace WebSpider
{
    public class UrlStack
    {
        private static UrlStack _urlstack = new UrlStack();

        private Queue<string> _stack = new Queue<string>();

        private readonly int _maxLength = Convert.ToInt32(System.Configuration.ConfigurationManager.AppSettings["MaxLength"]);

        private UrlStack() { }

        public static UrlStack Instance
        {
            get { return _urlstack; }
        }

        public void Push(string url)
        {
            lock (this)
            {
                if (!_stack.Contains(url))
                {
                    if (_stack.Count >= _maxLength)
                    {
                        _stack.Dequeue();
                    }
                    _stack.Enqueue(url);
                }
            }
        }

        public string Pop()
        {
            lock (this)
            {
                if (_stack.Count > 0)
                {
                    return _stack.Dequeue();
                }
                else
                {
                    return "";
                }
            }
        }

        public int Count { get { return _stack.Count; } }
    }
}
在源码中我用的是一个队列，当然，用户也可以改成其它的数据结构，比如：Stack<T>，用队列就有点像广度优先搜索，用堆栈就有点像深度优先搜索。

 

未完，待续……