curl批处理实现,多请求并发

在面试过程中遇到一个问题,加入一个一个网站访问一次需要两秒,我们如何实现在2秒左右请求三次?

面试官想问的就是如何使用curl并发处理请求

 

关于curl_multi_init()

一般来说,想到要用curl_multi_init()时,目的是要同时请求多个url,而不是一个一个依次请求,否则就要curl_init()了。

不过,在使用curl_multi的时候,你可能遇到cpu消耗过高、网页假死等现象,可以看看如何解决curl_multi导致网页假死的问题

使用curl_multi的步骤总结如下:

第一步:调用curl_multi_init
第二步:循环调用curl_multi_add_handle
这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。
第三步:持续调用curl_multi_exec
第四步:根据需要循环调用curl_multi_getcontent获取结果
第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close
第六步:调用curl_multi_close

各函数作用解释:

curl_multi_init()
初始化一个curl批处理句柄资源。

curl_multi_add_handle()
向curl批处理会话中添加单独的curl句柄资源。curl_multi_add_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。

curl_multi_exec()
解析一个curl批处理句柄,curl_multi_exec()函数有两个参数,第一个参数表示一个批处理句柄资源,第二个参数是一个引用值的参数,表示剩余需要处理的单个的curl句柄资源数量。

curl_multi_remove_handle()
移除curl批处理句柄资源中的某个句柄资源,curl_multi_remove_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。

curl_multi_close()
关闭一个批处理句柄资源。

curl_multi_getcontent()
在设置了CURLOPT_RETURNTRANSFER的情况下,返回获取的输出的文本流。

curl_multi_info_read()
获取当前解析的curl的相关传输信息。

示例代码:

<?php
// 创建一对cURL资源
$ch1 = curl_init();
$ch2 = curl_init();

// 设置URL和相应的选项
curl_setopt($ch1, CURLOPT_URL, "http://www.example.com/");
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/");
curl_setopt($ch2, CURLOPT_HEADER, 0);

// 创建批处理cURL句柄
$mh = curl_multi_init();

// 增加2个句柄
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);

$running=null;
// 执行批处理句柄
do {
    usleep(10000);
    curl_multi_exec($mh,$running);
} while ($running > 0);

// 关闭全部句柄
curl_multi_remove_handle($mh, $ch1);
curl_multi_remove_handle($mh, $ch2);
curl_multi_close($mh);

?>

获取批处理后的结果:

string curl_multi_getcontent ( resource $ch )

ch是由 curl_init() 返回的 cURL 句柄。

 

参考:http://www.php.net/manual/zh/function.curl-multi-init.php

https://blog.csdn.net/cs729298/article/details/78559641

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: C语言的CURL库是常用的网络传输工具,它可以发送HTTP请求和接收服务器响应。在使用CURL进行POST请求时,可以通过设置回调函数来利用多线程实现并发请求。通过这种方式,可以大大提高程序的效率和响应速度。 具体实现方式可以通过以下步骤: 1. 定义一个包含POST参数的结构体,并为每个线程设置不同的结构体。 2. 在每个线程中,使用CURL的easy_init()函数初始化一个easy_handle,并使用curl_easy_setopt()函数设置POST参数、请求地址等选项。 3. 设置一个回调函数,用于处理从服务器返回的数据,并将处理结果存储起来。 4. 开始并发请求,每个线程分别执行curl_easy_perform()函数发送请求,并等待服务器响应。 5. 所有请求完成后,处理所有线程收集到的数据。 需要注意的是,如果并发请求的数量太大,服务器可能会出现过载的情况,需要合理控制线程数和请求数。 除此之外,还需要注意线程安全的问题。由于多个线程会同时操作同一个easy_handle,容易出现竞争条件和数据不一致的情况。需要通过线程锁等机制来解决这些问题,保证程序的正确性。 总之,通过利用CURL库和多线程技术,可以实现高效的并发POST请求。这对于需要频繁向服务器发送请求的程序来说,是非常有意义的优化。 ### 回答2: cURL是一个强大的命令行工具,可以用来发送HTTP请求。它支持多种协议,包括HTTP、HTTPS、FTP等。 使用cURL进行post并发请求,可以通过以下步骤实现: 1. 创建一个cURL句柄,设置请求的URL,请求方法为POST,并设置POST数据。 2. 将cURL句柄加入到multi_handle中,使用curl_multi_add_handle函数。 3. 使用curl_multi_perform函数启动请求。 4. 使用curl_multi_info_read函数读取请求的返回信息,判断请求是否完成。 5. 如果请求未完成,则继续调用curl_multi_perform函数。 6. 如果请求已完成,则使用curl_multi_remove_handle函数将cURL句柄从multi_handle中删除。 7. 释放cURL句柄和multi_handle。 在并发请求中,可以设置多个cURL句柄,将它们加入到multi_handle中,同时启动多个请求。这样可以提高请求的效率。 需要注意的是,使用cURL进行并发请求时,必须设置超时时间,以避免请求长时间卡在某个请求上,导致整个请求堵塞。 总的来说,使用cURL进行post并发请求,可以有效提高请求效率,减少请求时间。但同时也需要注意并发数的控制,避免产生过多的网络请求,影响系统稳定性。 ### 回答3: curl是一种命令行工具和一个库,可以用于发送和接收HTTP请求,支持各种协议和数据传输方式。使用curl可以简单快速地进行HTTP请求并发请求则可以提高请求效率。 在C语言中,可以使用curl库来进行HTTP请求,使用curl_easy_setopt函数设置请求选项,然后使用curl_easy_perform函数执行请求。要进行并发请求,可以使用curl_multi_init函数初始化multi curl对象,然后使用curl_multi_add_handle函数将多个curl_easy句柄添加到multi curl对象中。最后使用curl_multi_perform函数执行并发请求。 在进行curl并发请求时需要注意以下几点: - 需要使用multi curl对象来进行并发请求,单个curl_easy句柄不支持并发请求。 - 在设置请求选项时,需要使用curl_easy_setopt设置多个选项,如CURLOPT_URL、CURLOPT_POST、CURLOPT_POSTFIELDS等。 - 在执行并发请求时,需要使用curl_multi_perform函数。此函数会异步执行所有添加到multi curl对象中的请求,并等待所有请求完成。 - 可以使用curl_multi_info_read函数来获取已完成的请求信息,如响应状态码、响应头信息等。 需要注意的是,并发请求可能会产生并发问题,如资源竞争、内存泄漏等。因此,需要仔细设计并发请求的逻辑,处理好多线程之间的同步和互斥问题,以保证程序的稳定性和效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值