CURL多线程处理需要注意问题

最新推荐文章于 2021-11-07 23:48:57 发布
最新推荐文章于 2021-11-07 23:48:57 发布
阅读量6.5k 收藏 3
点赞数 1
分类专栏： Linux编程 文章标签： 多线程 asynchronous signal system socket unix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niehanzi/article/details/7365913
版权
在使用CURL进行多线程下载并设置超时的情况下，可能会遇到程序因信号处理导致的段错误。CURL官方建议设置CURLOPT_NOSIGNAL为1，以避免信号干扰，特别是当主线程中有sleep或wait操作时。通过设置此选项，可以防止SIGPIPE信号触发，并解决CURLAUTH_NTLM_WB认证可能引发的SIGCHLD信号问题。
摘要由CSDN通过智能技术生成

最近用到CURL，在开启多个线程同时下载，并且又设置了timeout的时候，程序随机报如下段错误。

(gdb) bt
#0  0x00002ac0a97a2ec2 in ?? () from /usr/lib64/libcurl.so.3
#1  0x00002ac0a97a37dd in ?? () from /usr/lib64/libcurl.so.3
#2  0x00002ac0a97a4755 in curl_mvsnprintf () from /usr/lib64/libcurl.so.3
#3  0x00002ac0a97a3083 in curl_msnprintf () from /usr/lib64/libcurl.so.3
#4  0x00002ac0a9793ecb in Curl_failf () from /usr/lib64/libcurl.so.3
#5  0x00002ac0a978cf03 in Curl_resolv () from /usr/lib64/libcurl.so.3
#6  0x000000004c22197d in ?? ()
#7  0x0000000000000000 in ?? ()

经查CURL官方文档，有如下解释：

CURLOPT_NOSIGNAL

Pass a long. If i

最低0.47元/天 解锁文章
天涯角落
关注
专栏目录
Curl多线程
weixin_33733810的博客
05-11 1345
2019独角兽企业重金招聘Python工程师标准>>> ...
C/C++ libcurl CURLOPT_NOSIGNAL选项
01-20
多线程 此接口并没有使用到SSL/TLS，但会不会是用到了signals导致的crash呢？官方建议在多线程场景下应该设置CURLOPT_NOSIGNAL选项，因为在解析DNS出现超时的时候将会发生“糟糕”的情况。官方也给出了解决方法，可以使用c-ares[2]的libcurl版本实现异步域名解析来预防这种“糟糕”的情况，但是最后一句还是告诫我们：在多线程场景下，若不设置CURLOPT_NOSIGNAL选项，可能会有“意外”的情况发生。通过官方这段描述，可以大致猜测到是没有设置这个选项造成的crash。 curl毫秒超时使用 升级后的libcurl已经支持了毫米级别的超时。但是使用的时候还有一
多线程中使用curl致coredump问题
weixin_34199335的博客
03-03 419
coredump时的调用栈： #0 0x081eff2c in addbyter () #1 0x081f05b8 in dprintf_formatf () #2 0x081f15cf in curl_mvsnprintf () #3 0x081f0079 in curl_msnprintf () #4 0x081ef55c in...
多线程使用libcurl的坑
热门推荐
技术千山
04-14 1万+
用libcurl一段时间遇到莫名其妙的程序崩溃的情况，开会觉得是线程栈溢出导致的段错误，专门增加了线程栈的大小貌似无效。线程也是分离的。用valgrind定位到问题可能出现在curl的调用上。 排查的时候也发现了libcurl一些额外的坑，现做个总结笔记。 1.、 线程使用libcurl访问时，设置了超时时间，而libcurl库不会为这个超时信号做任何处理，信号产生而没有信号句柄处理，可能导
Curl多线程|CurlMulti
qdujunjie的专栏
02-20 7112
今天发现了一个多线程的curl工具，竟然还是国内自己开发的，地址在这里：http://blog.phpdr.net/curl多线程.html，目前还在持续更新，所以打算试试： 工作中经常需要采集一些内容，所以深入研究了一下PHP CURL多线程，不得不说这个扩展很变态。经过几十次的修改终于写出一个完美的CURL类，有多厉害用“终极”二字形容也不为过。PHP文档
多线程使用pycurl时出现段错误(segmentation fault)
zbyufei的测试专栏
12-22 1478
只需要加一个选项 client.setopt(pycurl.NOSIGNAL, 1) Pass a long. If it is 1, libcurl will not use any functions that install signal handlers or any functions that cause signals to be sent to the proce
CURL多线程类库
07-25
**CURL多线程类库详解** CURL（Client URL Library）是PHP中一个非常重要的库，用于处理HTTP和其他协议的请求。它提供了丰富的选项来定制各种网络交互，包括HTTP头、POST数据、代理设置等。当面临大量HTTP请求或者...
利用curl 多线程 模拟 并发的详解
10-27
在深入了解之前，首先需要了解PHP中curl多线程函数的基本用法。 在PHP中，处理HTTP请求的curl扩展提供了一系列多线程相关的函数，它们是： - curl_multi_init()：初始化多线程curl句柄。 - curl_multi_close()：...
php结合curl实现多线程抓取
12-19
在PHP中，我们可以利用cURL库来实现多线程数据抓取，这在处理大量网页数据或者需要同时从多个来源获取信息时非常有用。本文将详细介绍如何使用PHP结合cURL进行多线程抓取。 首先，cURL是一个客户端URL传输库，支持...
PHP Curl多线程原理实例详解
10-26
以下是一个简单的Curl多线程实例： ```php // 初始化两个Curl句柄 $ch1 = curl_init(); $ch2 = curl_init(); // 设置URL和选项 curl_setopt($ch1, CURLOPT_URL, "http://www.example1.com/"); curl_setopt($ch1, ...
curl_easy_init 多线程使用导致的崩溃
wishes的博客
01-30 7507
当多个线程，同时进行curl_easy_init时，由于会调用非线程安全的curl_global_init，因此导致崩溃。 应该在主线程优先调用curl_global_init进行全局初始化。再在线程中使用curl_easy_init。 示例代码 /***************************************************************************...
Libcurl多线程crash问题（cento）
weixin_33940102的博客
11-23 440
cento ：http://blog.csdn.net/delphiwcdj/article/details/18284429 1 问题背景 后台系统有一个单线程的http接口，为了提高并发处理能力，开启多个线程并发在跑，修改后接口的响应确实得到提高，但是server每3分钟出现一次crash。原因是系统使用的是curl-7.21.1（August 11 2010）的库，此版本并非线程安全。遂替换...
php curl 多线程
风火燎原、
12-06 1346
$offmh = curl_multi_init(); //开启curl多线程 foreach ($offer as $i => $url) { $conn[$i] = curl_init($url); //开启curl curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER, true);// 执行后不直接打印出来 curl_setopt($con
多线程的cURL
HAIFU_XU
11-04 1336
本处是一个可以灵活的多线程的调用 cURL的。 这里跟php手册 http://us2.php.net/manual/zh/function.curl-multi-select.php 中提供的样例不同，代码执行效率要高不少 <?php class request_setting { public $url = false; public $method = 'G
使用curl实现多线程
wyqjx
06-08 606
使用curl实现多线程 curl一般用来抓取网页，第二种就是get或者post数据，第三种应用就是实现PHP的多线程任务 下面来实现多线程的 可以返回： URLINFO_EFFECTIVE_URL – 最后一个有效的URL地址 CURLINFO_HTTP_CODE – 最后一个收到的HTTP代码 CURLINFO_FILETIME – 远程获取文档的时间，如果无法获取...
curl使用小记(四)——在多线程中使用的问题总结
人生海海 山山而川
11-07 2445
在多线程中使用CURL的问题总结
解决使用 libcurl 遇到的多线程崩溃问题
Roc Cliff
12-04 4724
使用 curl 访问 http 链接时，用 easy handle，阻塞方式访问时发现会每个访问启动一个线程去进行dns 想减少这种消耗，故此采用了 sh = curl_share_init(); curl_share_setopt(sh, CURLSHOPT_SHARE, CURL_LOCK_DATA_DNS);来启用dns cache功能，工作的挺好 后面在多个线程里使用同一个 sh
shell curl多线程too many requests
最新发布
09-09
当你在使用`curl`命令从网络获取大量数据或频繁发送请求时，可能会遇到"too many requests"错误，这通常是因为你在短时间内发送了过多的请求，超出了服务器允许的最大并发连接数。`curl`本身默认一次只有一个TCP连接，若需要同时处理多个请求，特别是对于限制连接数的HTTP服务器，可以考虑以下几个策略： 1. **多线程**：通过设置`--max-time`来限制每个请求的时间，然后结合`--continue-at`或`--location`选项，在前一个请求完成后再开始下一个，这样就可以创建并行的子任务，不过要注意控制好并发级别，避免因并发过高导致服务器压力过大。 ```bash curl -m 5 --continue-at - http://example.com/1 & curl -m 5 --continue-at - http://example.com/2 & # ... 并发的数量可以根据实际情况调整 ``` 2. **多进程**：如果支持，你可以利用`socat`或者`nc`（netcat）等工具将单个`curl`命令分割到多个进程，每个进程处理一部分请求。 ```bash socat TCP-LISTEN:80,fork,reuseaddr EXEC:"curl -w '\n%i %T\n' http://example.com",pty,stderr,setsid > request_log.txt ``` 3. **使用代理或负载均衡器**：如果可能的话，设置一个代理服务器或者使用像`load balancing`这样的工具，可以分散流量，避免直接对目标服务器造成过大的负担。 4. **遵守延迟（rate limiting）规则**：检查服务器文档，了解其是否有访问频率限制，并确保遵守这些规定。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值