高并发下CURL请求缓慢原因及解决方…

在实现一个内部服务时,发现在100高并发下,每秒仅能处理8个CURL请求,而单进程可达400请求。问题定位到php-fpm,发现其被限制了文件打开数。解决方案是调整php-fpm配置(rlimit_files至65535)和Linux系统限制(nofile软硬限制至51200),并增大max_children数量。通过这些调整,解决了并发性能问题。
摘要由CSDN通过智能技术生成
这几天在做一个对内的服务:

由一个封装好的类发送curl请求到接收端,接收端收到鉴权后入到队列内。

开发完毕后自己使用php单进程能够达到每秒400左右请求。

但是使用ab、loadrunner,100高并发的时候发现每秒只能处理8个请求。

而并发在10个的时候一切正常

经过测试发现当发送端和接收端都在同一台服务器的时候会有这个现象。

起初怀疑是curl有问题,几次尝试无果。

又通过写性能日志进行排查,发现php客户端处curl执行时间很长(平均8秒处理完一个),响应端代码实际处理时间很短。

而用top命令发现php-fpm进程启动很少,只有10几个每秒

百思不得其解……

后来单步调试逐步将注意力从curl上转到nginx及php-fpm上,首先觉得nginx肯定没问题,后来转移到php-fpm上,发现curl请求虽然过去,但是php-fpm好像被限制住,启动很多链接接口但是就是不处理一直在等待。

查看linux load正常

中午吃饭前四处搜索了下优化相关信息

突然发现linux下最大文件打开数的提示

悲催啊,终于找到原因在哪里了

php-fpm自己限制了进程可以打开文件个数,linux下也对最大打开
curlcurl_multi都是用于进行网络请求的工具。 curl是一个命令行工具,可以通过发送HTTP请求来获取网页内容或发送其他类型的网络请求。它是单线程的,在发送一个请求时会阻塞程序的执行直到请求完成并返回结果。这意味着如果要进行高并发请求,需要启动多个curl进程来同时发送多个请求,但会造成系统资源的浪费。 而curl_multi是一个C语言库,可以实现多个网络请求的并发执行。它通过将多个curl实例放入一个集合中,并使用事件循环来处理多个请求的同时执行。这样,在发送一个请求时,程序不会阻塞,而是可以继续执行其他任务,提高了并发处理能力。当所有的请求都完成时,可以一次性获取所有的结果。这种式减少了系统资源的浪费,提高了程序的效率。 使用curl_multi进行高并发需要注意以下几点: 1. 创建curl_multi实例,并向其中添加需要执行的curl请求。 2. 使用curl_multi_exec函数来开始执行多个请求。 3. 使用curl_multi_select函数等待请求完成。 4. 使用curl_multi_getcontent函数获取每个请求的结果。 需要注意的是,高并发的网络请求服务器压力较大,也容易出现网络超时等问题,因此需要合理控制并发请求数量,使用适当的技术手段,如连接池、负载均衡等,来保证系统的稳定性和性能。 总之,curlcurl_multi都可以用于高并发的网络请求,但curl_multi具有更好的并发性能和资源利用率,适合在程序中进行大量请求的同时执行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值