递归线程池队列

最新推荐文章于 2023-03-10 15:34:44 发布

robinspada

最新推荐文章于 2023-03-10 15:34:44 发布

阅读量1.2k

点赞数

文章标签：队列爬虫多线程递归线程池

本文链接：https://blog.csdn.net/robinspada/article/details/79907733

版权

在开发爬虫时，为加快广度优先搜索的爬行速度，采用多线程并限制线程数。文章提出了递归线程池队列的概念，即线程数受限时，超出部分进入队列等待执行，线程中允许创建新线程。主要内容包括实现代码、线程调度和等待全部执行完毕的策略，以及在实现过程中如何处理递归导致的复杂性。

摘要由CSDN通过智能技术生成

注意标题里面有三个keyword,递归线程池队列

这是我在开发爬虫程序时候碰到的需求，我们知道爬网页一般都使用广度优先搜索，每个页面下面都可能有下层页面。为了加快爬行速度，我们很容易想到用多线程来实现。

但是多线程必须受控，不能无限的创建线程，这样机器受不了，服务器也受不了。所以多线程必须满足下面条件：

线程数限制，超过限制则加入到队列中等待。同时，线程中允许创建新的线程，我称之为递归线程。

根据这个需求，所以有了标题：递归线程池队列

下面是实现代码

using System;
using System.Collections.Concurrent;
using System.Threading;
using System.Threading.Tasks;

namespace MediaSpider {
    class TaskQueue {
        int poolSize;
        Task[] pool;
        ConcurrentQueue<Action> queue;
        CancellationTokenSource cancelTokenSource=null;

        public TaskQueue(int poolSize) {
            this.poolSize = poolSize;
            // 初始化线程池
            pool = new Task[poolSize];
            for (int i = 0; i < poolSize; i++) {
                pool[i] = Task.Run(() => { });
            }
            queue