高并发下CURL请求缓慢原因及解决方…

最新推荐文章于 2024-07-31 16:35:08 发布
最新推荐文章于 2024-07-31 16:35:08 发布
阅读量2.1w 收藏 10
点赞数 1
分类专栏： 经典技巧
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xcl_rockman/article/details/73127273
版权
在实现一个内部服务时，发现在100高并发下，每秒仅能处理8个CURL请求，而单进程可达400请求。问题定位到php-fpm，发现其被限制了文件打开数。解决方案是调整php-fpm配置（rlimit_files至65535）和Linux系统限制（nofile软硬限制至51200），并增大max_children数量。通过这些调整，解决了并发性能问题。
摘要由CSDN通过智能技术生成
这几天在做一个对内的服务：

由一个封装好的类发送curl请求到接收端，接收端收到鉴权后入到队列内。

开发完毕后自己使用php单进程能够达到每秒400左右请求。

但是使用ab、loadrunner，100高并发的时候发现每秒只能处理8个请求。

而并发在10个的时候一切正常

经过测试发现当发送端和接收端都在同一台服务器的时候会有这个现象。

起初怀疑是curl有问题，几次尝试无果。

又通过写性能日志进行排查，发现php客户端处curl执行时间很长（平均8秒处理完一个），响应端代码实际处理时间很短。

而用top命令发现php-fpm进程启动很少，只有10几个每秒

百思不得其解……

后来单步调试逐步将注意力从curl上转到nginx及php-fpm上，首先觉得nginx肯定没问题，后来转移到php-fpm上，发现curl请求虽然过去，但是php-fpm好像被限制住，启动很多链接接口但是就是不处理一直在等待。

查看linux load正常

中午吃饭前四处搜索了下优化相关信息

突然发现linux下最大文件打开数的提示

悲催啊，终于找到原因在哪里了

php-fpm自己限制了进程可以打开文件个数，linux下也对最大打开
最低0.47元/天 解锁文章
xcl3721
关注
专栏目录
本地测试 php curl 请求为什么会慢
JineD的博客
08-01 9325
本地开发接口时，有时候会curl请求同一个站点进行测试，这个时候会非常慢甚至504，主要原因是因为本地只启用了一个cgi进行web请求处理，curl时占用了cgi进程，被curl的请求一直在等待curl处理完毕，而curl请求一直在等待信息返回，从而造成了“死锁”现象。 解决方案： 一、从php-cli发出请求，如 php curl.php 二、再开一个cgi，window下开启cgi ：.\php-cgi.exe -b 127.0.0.1:9001 -c .\php.ini ...
Python 接口并发测试详解
悦分享
10-23 7036
性能测试是通过自动化测试工具模拟多种正常、峰值及异常负载条件对系统的各项性能指标进行的测试。负载测试和压力测试都属于性能测试，两者可以结合进行。通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大服务级别的测试。性能测试的重点是测试在并发条件下服务或系统的瓶颈所在，从而优化相关功能，可能涉及软件及硬件的多方面改进。由此可见，性能测试对整个产品非常重要，甚至可以决定一个产品是否能长久发
php-fpm curl高并发,高并发下CURL请求缓慢原因及解决方法
weixin_39733943的博客
03-26 883
这几天在做一个对内的服务：由一个封装好的类发送curl请求到接收端，接收端收到鉴权后入到队列内。开发完毕后自己使用php单进程能够达到每秒400左右请求。但是使用ab、loadrunner，100高并发的时候发现每秒只能处理8个请求。而并发在10个的时候一切正常经过测试发现当发送端和接收端都在同一台服务器的时候会有这个现象。起初怀疑是curl有问题，几次尝试无果。又通过写性能日志进行排查，发现ph...
系统高并发访问量导致慢？通过负载均衡的解决方案和代码分享
最新发布
程序员weixin_sodomany的博客
07-31 612
负载均衡，英⽂名称为Load Balance，指由多台服务器以对称的⽅式组成⼀个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务⽽⽆须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某⼀台服务器上，⽽接收到请求的服务器独⽴地回应客户的请求。负载均衡能够平均分配客户请求到服务器阵列，借此提供快速获取重要数据，解决⼤量并发访问服务问题，这种集群技术可以⽤最少的投资获得接近于⼤型主机的性能。
curl 慢 不稳定_你看到的不一定是真的
weixin_40005437的博客
12-10 1177
小伙伴们大家好，双十一刚过，你的手还在吗?当大家在双十一的深夜买买买的时候，各大电商平台背后的技术人员都在紧张地盯着服务器的各项技术参数，一旦发生故障，必须快速响应，第一时间恢复业务。平时，业务发生故障，无法访问也时常发生。阿里的地下光缆就被挖掘机失误挖断过。有些时候，当我们排查各类网络相关的业务故障的时候，会发现最终的原因与最开始的现象是看似没有关系的，斗笠菌作为一名在技术支持行业摸...
php 多个curl 很慢,php – cURL真的很慢
weixin_39654436的博客
03-10 371
有没有人知道为什么在php5下cURL即使在45s超时也无法缓慢失败,在speedO’light服务器上下载几个kb文件？代码在这里按要求提供(尽管我在执行过程中不会因脚本失败而更多地延长了超时时间,并将初始Chrome中的useragent更改为Mozilla / 4.0)：$ch = curl_init('http://www.somesite.com/' . $key);curl_setop...
iOS开发－记录下在开发过程中遇到的问题的解决方案及经验总结-1
iOS学堂
07-05 2673
iOS 开发中的总结，小技巧，小思路的拓展，如有不当之处欢迎指正
【测试】单机模拟100万并发|单机模拟百万客户端tcpburn|千万并发不是梦：TCPBurn并发测试...
小鱼菜鸟的博客
09-10 546
目录 前言 工具和原理 实战 1、软硬件配置 2、服务器端系统参数配置 1)规避IP conntrack坑 2)规避文件句柄坑 3)关闭rp filter设置 4)路由设置 3、服务器端Nginx部署安装 4、客户端TCPBurn部署安装 1)intercept安装运行 2)tcpburn安装 3)准备测试数据 4)关闭客户...
深入理解Golang中的Context包
沈春旭的博客
02-21 9376
context.Context是Go语言中独特的设计，在其他编程语言中我们很少见到类似的概念。context.Context深度支持Golang的高并发。 1. Goroutine和Channel 在理解context包之前，应该首先熟悉Goroutine和Channel，能加深对context的理解。 1.1 Goroutine Goroutine是一个轻量级的执行线程，多个Goroutine比一个线程轻量，所以管理Goroutine消耗的资源相对更少。Goroutine是Go中最基本的执行单元，每一.
php curl 函数请求特别慢，并且不能请求成功
qq_36957701的博客
01-16 744
php curl 函数不能使用
curl 慢 不稳定_慢启动和TCP块数据的吞吐量
weixin_42134117的博客
12-16 167
吞吐量与哪些因素相关？1、 windowns size(syn握手协商)2、 cwnd拥塞窗口3、 流控算法4、 慢启动Cwnd按照指数递增变化：1、 建链时候cwnd初始化为1(初始化为对端的mss)，可以发送1个报文;2、 收到对端一个ack，cwnd增加一个mss，可以发送2个报文；3、 当收到这两个报文的ack后，cwnd增加为4，可以发送4个报文4、 Cwnd增加直到超过网络容量(假设w...
php 多个curl 很慢,PHP下CURL异常慢
weixin_39850787的博客
03-10 624
几个星期前，碰到一个特别头疼的问题，各种办法，原因都想过，排查过，就是找不到原因。就是PHP,在使用其他域名接口的时候,非常慢。可能问题出现在:目标服务器响应慢和服务器建立连接慢首先，我们需要排除掉目标服务器是否慢，这很简单，找另外的机子去访问同样的接口，或者找目标服务器人员排查。这个不是我们这次的重点。其次，来分析分析第二个问题。一件一件排查。先列出可能原因：IP路由不通(ping 目标IP排查...
php cli模式 curl,php cli 模式 curl请求越来越慢
weixin_34892992的博客
03-12 308
背景项目使用workerman，其中有一块代码，会定时通过curl发送一个https请求，通知php-fpm。最近发现一个诡异的问题，程序刚开的时候正常没有问题，但是运行了几天 business处理请求就会异常的慢。上服务器查看status，发现进场是进场进入busy状态。处理因为是服务器内部的请求，所以就把ssl证书的校验关闭了curl_setopt($curl, CURLOPT_SSL_VER...
记录一下自己使用curl下载速度慢的问题
weixin_43752948的博客
06-16 1109
今天在使用curl下载raw.githubusercontent.com慢不活了，所以找了很多方法，总结一下。
php7 curl 慢,curl获取数据慢的处理方法
weixin_35807050的博客
03-12 1162
在工作中需要用到curl 远程获取数据，但是访问速度太慢了，有时候需要10几秒到20秒，查了下原因，原来是DNS域名解析速度太慢了，所以，这里我们需要先获取抓取网站的域名的IP，然后再进行处理，经过将域名替换为对应的IP后速度大大的提高了，只用不到3秒就可抓取到数据。请看示例：// 例如，抓取该网站的信息www.digtime.cn,正常域名速度非常慢,需要十几秒// $url = 'http:/...
php解决缓慢http请求,php CURL 服务器响应慢的问题
weixin_28738021的博客
03-09 1058
php CURL 服务器响应慢的问题发布时间：2018-06-23 14:20,浏览次数：1044, 标签：phpCURL用c++搭了个简单的http服务器，但是发现接收数据很慢，一个php服务器发送http请求，内容大概100k，千兆内网，百兆网卡，但总是需要1秒时间才能接受完请求报文，开始如下分析先看接收的http服务器代码clock_t start, end; int ctn = 0; st...
php curl 的方法 ，延迟时间为1秒
廖圣平
01-17 3781
curl获取数据 /*get请求获取数据*/ function curlGet($url){ $ch = curl_init(); //设置选项，包括URL curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT
curl curl_multi 高并发
10-12
curl和curl_multi都是用于进行网络请求的工具。 curl是一个命令行工具，可以通过发送HTTP请求来获取网页内容或发送其他类型的网络请求。它是单线程的，在发送一个请求时会阻塞程序的执行直到请求完成并返回结果。这意味着如果要进行高并发的请求，需要启动多个curl进程来同时发送多个请求，但会造成系统资源的浪费。 而curl_multi是一个C语言库，可以实现多个网络请求的并发执行。它通过将多个curl实例放入一个集合中，并使用事件循环来处理多个请求的同时执行。这样，在发送一个请求时，程序不会阻塞，而是可以继续执行其他任务，提高了并发处理能力。当所有的请求都完成时，可以一次性获取所有的结果。这种方式减少了系统资源的浪费，提高了程序的效率。 使用curl_multi进行高并发需要注意以下几点： 1. 创建curl_multi实例，并向其中添加需要执行的curl请求。 2. 使用curl_multi_exec函数来开始执行多个请求。 3. 使用curl_multi_select函数等待请求完成。 4. 使用curl_multi_getcontent函数获取每个请求的结果。 需要注意的是，高并发的网络请求对服务器压力较大，也容易出现网络超时等问题，因此需要合理控制并发请求数量，使用适当的技术手段，如连接池、负载均衡等，来保证系统的稳定性和性能。 总之，curl和curl_multi都可以用于高并发的网络请求，但curl_multi具有更好的并发性能和资源利用率，适合在程序中进行大量请求的同时执行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值