并发请求控制

请实现如下函数,可以批量请求数据,所在的url地址在urls参数中,同时可以通过max参数来控制请求并发量,当所有请求结束后,需要执行callback回调函数。发请求的函数可直接使用fetch即可

/**
 * 并发请求控制
 *
 * @export
 * @param {string<Array>} urls 
 * @param {number} max
 * @param {function} callback
 */
export function sendRequest(urls, max, callback) {
  const REQUEST_MAX = max;                  // 并发数量
  const TOTAL_REQUESTS_NUM = urls.length;   // 请求数量
  const blockQueue = [];                    // 等待排队的那个队列
  let currentReqNumber = 0;                 // 现在请求的数量是
  let numberOfRequestsDone = 0;             // 已经请求完毕的数量是
  const results = new Array(TOTAL_REQUESTS_NUM).fill(false); // 所有请求的返回结果,先初始化上

  async function init() {
    // {1} 
    for (let i = 0; i < urls.length; i++) {
      console.log("现在i是: " + i + " 正请求:" + urls[i]);
      request(i, urls[i]);
    }
  }

  async function request(index, reqUrl) {
    // 这个index传过来就是为了对应好哪个请求,
    // 放在对应的results数组对应位置上的,保持顺序
    // {2} 大于并发量去进行阻塞
    if (currentReqNumber >= REQUEST_MAX) {
      console.log(
        "currentReqNumber: " + currentReqNumber +
        " ----REQUEST_MAX : " + REQUEST_MAX +
        " ---- url: " + reqUrl);
      // {3} 阻塞队列增加一个 Pending 状态的 Promise, 
      await new Promise((resolve) => blockQueue.push(resolve));
      // 进里面排队去吧,不放你出来,不resolve你,你就别想进行下面的请求
      console.log("第" + index + "个请求等待结束: 即将开始执行:" + reqUrl);
    }
    reqHandler(index, reqUrl); // {4}
  }

  async function reqHandler(index, reqUrl) {
    currentReqNumber++; // {5} 开始请求,请求数自增
    try {
      const result = await fetch(reqUrl);
      results[index] = result;
    } catch (err) {
      results[index] = err;
    } finally {
      currentReqNumber--; // 请求完成,请求数自减
      numberOfRequestsDone++;
      console.log("完成请求的链接: " + reqUrl + ", 当前请求的数量: " + currentReqNumber + "阻塞队列数量:" + blockQueue.length);
      if (blockQueue.length) {
        // 每完成一个就从阻塞队列里剔除一个
        // 将最先进入阻塞队列的 Promise 从 Pending 变为 Fulfilled
        blockQueue[0]();
        blockQueue.shift();
        console.log("消灭一个blockQueue第一个阻塞后,排队数为 : " + blockQueue.length);
      }
      if (numberOfRequestsDone === TOTAL_REQUESTS_NUM) {
        callback(results);
      }
    }
  }

  init();
}
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用线程池控制并发请求可以通过ThreadPoolExecutor来实现。ThreadPoolExecutor是Java中线程池的核心实现类。通过创建一个ThreadPoolExecutor对象,我们可以配置线程池的各种参数来控制任务的执行。 首先,需要确定核心线程池的大小(corePoolSize),即同时执行任务的最大线程数。通过构造函数中的corePoolSize参数,我们可以设置线程池的核心线程大小。 接下来,我们需要设置线程池的最大线程数(maximumPoolSize),即线程池中允许存在的最大线程数。当任务数量超过核心线程池大小时,线程池会自动创建新的线程来执行任务,直到达到最大线程数为止。 除了核心线程池大小和最大线程数,我们还可以设置线程的存活时间(keepAliveTime)。当线程池中的线程数量大于核心线程池大小,并且空闲时间超过了keepAliveTime时,多余的线程会被销毁,以节省资源。 另外,在ThreadPoolExecutor中,还可以设置任务队列(runnableTaskQueue)来存储待执行的任务。任务队列可以是有界队列,也可以是无界队列。当线程池中的线程数量达到核心线程池大小时,多余的任务会被存储在任务队列中,等待执行。 最后,我们还可以设置线程工厂(threadFactory)和异常处理器(handler)。线程工厂用于创建线程,异常处理器用于处理任务执行过程中发生的异常。 通过合理配置ThreadPoolExecutor的参数,我们可以灵活控制并发请求的执行,提高系统的并发性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [JAVA线程池详解(ThreadPoolExecutor)](https://blog.csdn.net/ChengHuanHuaning/article/details/125380179)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值