CURL多线程处理需要注意问题

最新推荐文章于 2022-11-15 10:33:46 发布
VIP文章 最新推荐文章于 2022-11-15 10:33:46 发布
阅读量6.4k 收藏 3
点赞数 1
分类专栏： Linux编程 文章标签： 多线程 asynchronous signal system socket unix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niehanzi/article/details/7365913
版权

最近用到CURL，在开启多个线程同时下载，并且又设置了timeout的时候，程序随机报如下段错误。

(gdb) bt
#0  0x00002ac0a97a2ec2 in ?? () from /usr/lib64/libcurl.so.3
#1  0x00002ac0a97a37dd in ?? () from /usr/lib64/libcurl.so.3
#2  0x00002ac0a97a4755 in curl_mvsnprintf () from /usr/lib64/libcurl.so.3
#3  0x00002ac0a97a3083 in curl_msnprintf () from /usr/lib64/libcurl.so.3
#4  0x00002ac0a9793ecb in Curl_failf () from /usr/lib64/libcurl.so.3
#5  0x00002ac0a978cf03 in Curl_resolv () from /usr/lib64/libcurl.so.3
#6  0x000000004c22197d in ?? ()
#7  0x0000000000000000 in ?? ()

经查CURL官方文档，有如下解释：

CURLOPT_NOSIGNAL

Pass a long. If i

最低0.47元/天 解锁文章
天涯角落
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PHP使用curl multi要注意的问题：每次使用curl multi同时并发多少请求合适
zhibin的程序日记
11-25 1万+
PHP的curl multi可以使用多线程处理http请求，一定程度上可以提高请求接口的效率。但是，启用多线程也是会消耗资源的事情，那么每次curl multi同时并发多少个请求合适呢？ 接下来做了以下一个实验，在开始的时候，先说说实验的结论： 实验结论 1）首先要检查发起请求服务器的网络带宽是否正常，避免请求服务器出现带宽瓶颈。 2）curl multi并发请求并发数有一个阈值，过高的并
利用curl 多线程 模拟 并发的详解
12-19
首先，先了解下 php中的curl多线程函数：复制代码 代码如下:# curl_multi_add_handle# curl_multi_close# curl_multi_exec# curl_multi_getcontent# curl_multi_info_read# curl_multi_init# curl_multi_remove_handle# curl_multi_select一般来说，想到要用这些函数时，目的显然应该是要同时请求多个url，而不是一个一个依次请求，否则不如自己循环去调curl_exec好了。步骤总结如下：第一步：调用curl_multi_init第二步：循环调
CURLOPT_NOSIGNAL
zhangfeng1133的专栏
09-04 8866
此接口并没有使用到SSL/TLS，但会不会是用到了signals导致的crash呢？官方建议在多线程场景下应该设置CURLOPT_NOSIGNAL选项，因为在解析DNS出现超时的时候将会发生“糟糕”的情况。官方也给出了解决方法，可以使用c-ares[2]的libcurl版本实现异步域名解析来预防这种“糟糕”的情况，但是最后一句还是告诫我们：在多线程场景下，若不设置CURLOPT_NOSIGNAL选
cURL - 超时控制 - 学习/实践
william_n的博客
05-23 2970
主要用于学习curl的超时控制，以及运行原理，合适场景下正确使用。
使用libcurl出现的段错误问题解决
gmq_syy的博客
08-13 1790
1. 问题定位 在使用libcurl时出现了段错误，经过调试发现出现的时机是在断网的情况下，为了保持网络的自动恢复我会在程序中重启网络节点 ifconfig eth0 down,如果这时正在用 libcurl 做 GET 请求或者 POST 请求等就会出现段错误 2. 分析出现原因 libcurl在configure默认配置编译的情况下，它是使用alarm+siglongjmp实现域名解析超时。如果这个时候执行了 ifconfig eth0 downDNS解析会失败，然后 libcrl 会发出信号来打断等
C/C++ libcurl CURLOPT_NOSIGNAL选项
01-20
多线程 此接口并没有使用到SSL/TLS，但会不会是用到了signals导致的crash呢？官方建议在多线程场景下应该设置CURLOPT_NOSIGNAL选项，因为在解析DNS出现超时的时候将会发生“糟糕”的情况。官方也给出了解决方法，可以使用c-ares[2]的libcurl版本实现异步域名解析来预防这种“糟糕”的情况，但是最后一句还是告诫我们：在多线程场景下，若不设置CURLOPT_NOSIGNAL选项，可能会有“意外”的情况发生。通过官方这段描述，可以大致猜测到是没有设置这个选项造成的crash。 curl毫秒超时使用 升级后的libcurl已经支持了毫米级别的超时。但是使用的时候还有一
libcurl域名检测超时段错误分析
吃苹果的毛毛虫
11-15 730
使用libcurl在域名检测超时时出现段错误，通过堆栈打印，定位问题
curl学习（一）：段错误
libinbin_1014的专栏
06-13 2988
c语言使用curl时出现段错误 问题发现 在使用c语言编程时，按照一般流程使用curl进行http数据的获取，没有错误，但是当开启线程调用该函数频繁时，会出现段错误，并且复现起来较为困难，经后期排查，发现问题出现在了curl上面，处理完该bug后，稍加整理，作为以后提醒 原因 原来libcurl在configure默认配置编译的情况下，它是使用alarm+siglongjmp实现域名解析超时。当多
curl使用小记(四)——在多线程中使用的问题总结
人生海海 山山而川
11-07 2110
在多线程中使用CURL的问题总结
多线程中使用curl致coredump问题
weixin_34199335的博客
03-03 395
coredump时的调用栈： #0 0x081eff2c in addbyter () #1 0x081f05b8 in dprintf_formatf () #2 0x081f15cf in curl_mvsnprintf () #3 0x081f0079 in curl_msnprintf () #4 0x081ef55c in...
curl线程池多线程调用
09-20
（2） 多线程。单个线程下载速度毕竟有限，使用多线程去调用接口。实现高并发高性能，需要考虑资源分配和冲突的问题。
CURL多线程类库
07-25
强大的 CURL多线程类库 ，性能瓶颈在IO读写，如果不是IO瓶颈，性能会更快。欢迎伙伴们测试 内置7个demo示例
php结合curl实现多线程抓取
12-19
curl 多线程抓取 */ /** * curl 多线程 * * @param array $array 并行网址 * @param int $timeout 超时时间 * @return array */ function Curl_http($array,$timeout){ $res = array(); $mh = curl_multi_...
vim标签功能
天涯角落的专栏
10-08 5609
最近在看代码，由于代码比较庞大，经常由于目录树跟踪的太深，不能快速回到指定位置，于是研究了一下 vim的bookmark功能，记录如下： 书签 (Mark) 书签是vim中非常强大的一个功能，书签分为文件书签跟全局书签。文件书签是你标记文件中的不同位置，然后可以
NGINX原子操作
天涯角落的专栏
03-23 2779
nginx实现了一个跨平台的原子操作接口。 它分别实现了LIBATOMIC，DARWIN_ATOMIC，GCC_ATOMIC等原子操作。 LIBATOMIC是一套平台无关原子操作库。 DARWIN_ATOMIC苹果平台原子操作库。 GCC_ATOMIC GCC内置的原子操作接口。 如果实现了上述任意一种原子操作接口，则定义： #define NGX_HAVE_ATOMIC_
Intel GMA500显卡硬解码VAAPI
天涯角落的专栏
08-04 2433
1:http://www.splitted-desktop.com/~gbeauchesne  vaapi demo程序
#pragma pack 用法详解
天涯角落的专栏
08-05 2329
1. #pragma pack(show) 以警告信息的形式显示当前字节对齐的值. 2. #pragma pack(n) 将当前字节对齐值设为 n . 3. #pragma pack() 将当前字节对齐值设为默认值(通常是8) . 4. #pragma pack(pu
nginx HTTP发送数据过程
天涯角落的专栏
03-07 1413
1. epoll write事件， 执行写数据处理。 2. wev->handler回调函数进入： 3. 执行写数据回调函数 4. 进入写数据回调函数体内 5. 真正发送数据的函数
libcurl 多线程
最新发布
09-14
需要注意的是，在多线程环境下使用libcurl时，需要确保每个线程拥有独立的CURL句柄，并且不共享这些句柄。同时，需要注意线程同步和资源管理问题，以避免竞态条件和内存泄漏等问题。 希望这些信息能对你有所帮助！...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值