利用tcpcopy，对nginx进行压力测试，效果见正文（注意用的是tcpcopy 0.5以下的版本）

原创 已于 2024-09-11 13:41:38 修改 · 3.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nginx #测试 #服务器 #server

于 2011-11-02 18:39:43 首次发布
本文详述了一次使用tcpcopy 0.5以下版本对4台nginx服务器进行压力测试的过程，测试期间遇到ip_queue_full问题，通过调整ip_queue_maxlen解决。分析结果显示，nginx在调整后能有效处理接近在线服务器2倍的流量。

从上午10：41分开始试验，一直到18：17，7个半小时左右。

从4台nginx服务器拷贝流量到测试服务器，由于lvs有两个虚拟ip，在在线服务器执行命令如下：

[root@bgp176-141 work]# ./tcpcopy xxx.xxx.xxx.140 80  xxx.xxx.xxx.148 18080

root@bgp176-142 work]#  ./tcpcopy xxx.xxx.xxx.137 80 xxx.xxx.xxx.148 18080
[root@bgp176-143 work]# ./tcpcopy xxx.xxx.xxx.140 80 xxx.xxx.xxx.148 18080

[root@bgp176-144 work]# ./tcpcopy xxx.xxx.xxx.137 80 xxx.xxx.xxx.148 18080  
 

上述4台服务器所copy的流量大概是在线服务器的2倍流量

测试服务器中途遇到ip queue full的情况，修改ip queue length后就没有再出现

echo 4096 > /proc/sys/net/ipv4/ip_queue_maxlen

cat /var/log/messages部分数据如下：

Nov  2 10:45:13 bgp176-148 kernel: printk: 118 messages suppressed.
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243413
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243414
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243415
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243416
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243417
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243418
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243419
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243420
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243421
Nov  2 10:45:13 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243422
Nov  2 10:56:53 bgp176-148 kernel: printk: 274 messages suppressed.
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243697
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243698
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243699
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243700
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243701
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243702
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243703
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243704
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243705
Nov  2 10:56:53 bgp176-148 kernel: ip_queue: full at 1024 entries, dropping packets(s). Dropped: 2243706
Nov  2 11:18:42 bgp176-148 ntpd[1851]: time reset +0.212364 s
Nov  2 11:22:56 bgp176-148 ntpd[1851]: synchronized to LOCAL(0), stratum 10
Nov  2 11:23:33 bgp176-148 ntpd[1851]: synchronized to 220.181.28.157, stratum 2
Nov  2 11:27:15 bgp176-148 ntpd[1851]: synchronized to 122.226.192.4, stratum 2

执行到18点多的时候，我们来分析使用情况

root@bgp176-148 logs]# date

Wed Nov  2 18:17:02 CST 2011

[root@bgp176-148 logs]# ps aux|grep interception

root      7855 34.6  4.4  94052 92708 pts/1    S+   10:40 158:09 ./interception

[wangbin@bgp176-141 logs]$ ps aux|grep tcpcopy
wangbin   9041  0.0  0.0  61188   732 pts/1    S+   18:17   0:00 grep tcpcopy

root     27198 21.3  0.7  40952 28068 pts/0    Rl+  10:41  97:24 ./tcpcopy xxx.xxx.xxx.140 80 xxx.xxx.xxx.148 18080

测试服务器数据如下：

 7830 adrun     15   0 22340  18m  932 S 30.8  0.9 202:34.59 nginx                                                                  
 7832 adrun     15   0 22456  19m  932 S 30.8  0.9 206:58.98 nginx                                                                  
 7829 adrun     15   0 21848  18m  932 S 29.7  0.9 181:29.62 nginx                                                                  
 7831 adrun     15   0 22084  18m  932 S 27.4  0.9 192:06.58 nginx                                                                  
 7855 root      15   0 94052  90m  400 S 25.1  4.5 159:41.30 interception                                                           
 5363 root      18   0 37764  23m  744 S 17.1  1.2 155:03.92 asyn_server
 

-rw-r--r-- 1 root  root  25393322281 Nov  2 18:18 access.log

我们分析请求处理情况：

[wangbin@bgp176-141 logs]$ grep '2011:18:35' access.log |wc -l
69737

[root@bgp176-148 logs]# tail -n 1000000 access.log |grep '2011:18:35' |wc -l    
139653
2倍流量=69737×2=139474，接近在线流量的2倍

中间的情况如下：

[root@bgp176-148 logs]# tail -n 1000000 access.log |grep '2011:13:36' |wc -l
191913
[root@bgp176-148 logs]# tail -n 1000000 access.log |grep '2011:13:37' |wc -l
190548
[root@bgp176-148 logs]# tail -n 1000000 access.log |grep '2011:13:44' |wc -l  
190721
[root@bgp176-148 logs]# tail -n 1000000 access.log |grep '2011:13:47' |wc -l  
189788


[wangbin@bgp176-141 logs]$ grep '2011:13:37' access.log |wc -l
97498
[wangbin@bgp176-141 logs]$ grep '2011:13:36' access.log |wc -l
97693
[wangbin@bgp176-141 logs]$ grep '2011:13:44' access.log |wc -l  
94891
[wangbin@bgp176-141 logs]$ grep '2011:13:47' access.log |wc -l
94464
两倍=97498×2=194996
两倍=97693×2=195386
两倍=94891×2=189782
两倍=94464×2=188928

我们可以得出结论，通过tcpcopy，nginx目前能够承受2倍的在线压力

Nginx实战：nginx性能压测（ab）
龙叔运维的博客
07-06 1269
在nginx的生产实践中，不管是服务上线，还是性能优化，都会遇到需要对nginx的性能压测，本文介绍一个简单的压测工具：ab命令
Python 接口并发测试详解
悦分享
10-23 9037
性能测试是通过自动化测试工具模拟多种正常、峰值及异常负载条件对系统的各项性能指标进行的测试。负载测试和压力测试都属于性能测试，两者可以结合进行。通过负载测试，确定在各种工作负载下系统的性能，目标是测试当负载逐渐增加时，系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接受的性能点，来获得系统能提供的最大服务级别的测试。性能测试的重点是测试在并发条件下服务或系统的瓶颈所在，从而优化相关功能，可能涉及软件及硬件的多方面改进。由此可见，性能测试对整个产品非常重要，甚至可以决定一个产品是否能长久发
利用tcpcopy，发现nginx一重大bug
重思想
11-21 8604
上周运维组利用tcpcopy压力测试nginx hmux模块，压力达到2000多请求每秒的时候，发现nginx 每个进程 cpu100%。 利用gcore产生core文件，发现nginx处于如下死循环中： (gdb) bt #0  0x00000000004690d8 in ngx_http_upstream_get_round_robin_peer (pc=0x8a51bd8, d
【免费下载】 TCPBurn：强大的TCP并发压力测试工具
最新发布
gitblog_00193的博客
11-12 1291
TCPBurn是一个专为并发测试设计的TCP流重放工具，适用于任何支持重放功能的TCP应用。该工具通过模拟真实的网络交互、控制网络延迟以及处理上层协议交互，来实现对目标服务的高并发压力测试。项目主要采用C++进行编写。 ## 新手使用指南及常见问题解决方案 ### 1. 了解基础环境需求 **问题描述**: 新手可能不清楚TCPBurn运行所需的基本系统配置和依赖项。 **解决步骤**: -
nginx || 压力测试（python、ab命令）
qq_60271706的博客
08-25 736
ab（apache bench）是Apache超文本传输协议(HTTP)的性能测试工具。主要是显示你安装的Apache每秒可以处理多少个请求，也可以对其它类型的服务器进行压力测试（例如 nginx、tomcat、IIS等）。编写一个爬虫程序，模拟1000~2000个人同时访问nginx服务器，用来测试我们设置的并发连接数和服务器的配置是否能够满足同时1000~2000个人同时访问。使用压力测试软件ab对nginx的web集群进行压力测试。需要用到的模块（requests等）模块里的函数去实现访问功能。
如何利用tcpcopy来试验nginx hmux模块（以下所涉及到的tcpcopy，均是采用的是0.5以下的版本）
重思想
09-26 3758
场景是这样的： 公司原来是利用nginx-->apache-->resin(hmux 6800）来做的。 现在已经书写了nginx hmux模块，完全可以这样nginx--->resin(hmux 6800)，把系统架构简化了。 那么是不是直接替换呢，这样做有很大的风险，万一上线全面崩溃，怎么办，公司损失不说，个人在公司的职业生涯也结束了。 怎么办，怎么办？ 有人说，我们逐步逐步上线
怎么测试服务器端口是否对外开放_玩转tcpcopy在线压力测试--原理、使用(上)
weixin_39710251的博客
11-22 321
tcpcopy 是一个分布式在线压力测试工具，可以将线上流量拷贝到测试机器，实时的模拟线上环境，达到在程序不上线的情况下实时承担线上流量的效果，尽早发现 bug，增加上线信心。tcpcopy 的优势在于其实时性及真实性，除了少量的丢包，完全拷贝线上流量到测试机器，真实的模拟线上流量的变化规律。1、实验我们在docker环境实验TCPCopy：首先编译intercept。./configure --...
性能测试之tcpcopy引流工具介绍
weixin_47076071的博客
08-26 644
背景 作为一名测试工程师，相信您一定曾经遇到过类似这样的场景： 场景一：已经按照评审过的测试用例完成所有的测试，并且也包含了异常逻辑的测试覆盖，但是版本发布，或者服务上线后可能还是出现了各种问题，导致不得不回退版本或者紧急上线修复。一旦发生这种事情不仅会对业务正常运营造成严重的影响，测试人员甚至会对自己的测试能力产生怀疑，形成恶性循环。究其根本原因，还是在于没有能够全部覆盖到用户的各种场景，越是功能复杂的软件越容易发生类似问题；为了减少这种影响，我们需要在上线之前尽量模拟真实用户操作，来校验程序是否正确稳定
Nginx配置文件
致力于不留技术债务cuizb.top
06-07 1396
通俗的解释：我们有时候，用自己的计算机A想访问国外的某个网站B，但是访问不了，此时，有一台中间服务器C可以访问国外的网站B，那么，我们可以用自己的电脑访问服务器C，通过C来访问B这个网站。那么这个时候，服务器C称为代理服务器，这种访问方式叫做正向代理。
云计算学习之KEEPALIVED高可用、NGINX性能优化、TOMCAT部署
qq_27302885的博客
01-30 1480
``bash1.LB01 nginx负载均衡 keepalived https2.LB02 nginx负载均衡 keepalived httpsNginx服务+PHP服务+会话保持wordpresszhphpmyadmin业务静态文件挂载到NFS动态数据连接到db014.db01 mariadb服务 redis服务5.nfs nfs-utils服务 lsync实时同步静态数据到backup服务的nfs目录下。
高可用实战之Nginx + Keepalived + Apache篇
求知若渴，虚心若愚。
08-13 385
服务器IP系统主要组件nginxnginxhttpdhttpdngx_http_upstream_module：配置后端服务器组，支持负载均衡和故障转移。Nginx 官网下载最新版本的安装包，不使用服务器yum安装，可能不是最新的，这样安装对扫漏又来进行打补丁解更方便。上传Nginx安装包至服务器，解压并进入目录执行安装。确保安装过程中包含ngx_http_upstream_module模块。编译安装时通过--add-module参数指定模块路径，若模块已内置则无需额外添加。
tcpcopy避免了nginx的两大问题
重思想
03-19 4757
当利用nginx某个版本的情况下，也许你不知道这个版本有哪些问题，那怎么避免上线过程中出现的问题呢？ 下面就是利用我们开发的tcpcopy来成功避免了上线过程中才会出现的两大问题（其它压力测试工具是发现不了的或者很难发现），希望对你们有所参考。 第一次是二号人物Maxim Dounin书写的keepalive模块的问题，具体如下： http://blog.csdn.net/wangbin57
nginx、php-fpm、swoole HTTP/TCP压测对比
weixin_30530339的博客
09-13 298
本次测试是在win7下docker环境中进行压测，共创建一个nginx容器、一个php-fpm容器和一个swoole容器，客户端请求nginx服务器，nginx接收用户访问请求并转发给php-fpm，php-fpm接收数据并发送数据给swoole服务器 软硬件： 　　OS ：boot2docker Linux　　cpu: i5-6500 单核　　内存：1G　　PHP Vsersion:7.2....
如何对Nginx进行压力测试？
长风破浪会有时的博客
05-20 579
想象一下，你有一个非常结实的玩具车，你想知道这个玩具车最多能承载多少重量。这个过程就像是压力测试，只是我们这里是要测试Nginx服务器，而不是玩具车。Nginx压力测试是为了看看Nginx在面对很多请求时，能不能正常工作，会不会崩溃。这很重要，因为如果很多人同时访问一个网站，而服务器承受不住，那网站可能就会出问题了。就会开始模拟用户访问，并且会输出一些测试结果，比如每秒钟能处理多少请求，平均响应时间是多少等等。通过这些信息，你就可以知道你的Nginx服务器在面对压力时的表现了。首先，你需要确保已经安装了。
ab压测nginx_详解Linux系统流量复制--gor、tcpcopy、nginx模块流量复制等
weixin_39698217的博客
12-10 396
概述对于一些有并发要求的业务，特别是对接外部流量时，产品上线前一定要做的就是压力测试，但是常规的压力测试并不能覆盖所有情况。以gemeter、ab,、webbench、http_load为例，这些通过模拟请求的压测工具，只能发送特定的参数，对于一些参数异常导致的程序处理异常是无法考虑到的，所以就需要一款能复制真实流量，并且不影响线上业务的工具。流量复制工具有很多，例如Gor、tcpreplay、t...
tcpcopy简介
xiaomin1991222的专栏
07-26 476
本文内容是整理自 王斌的博客（http://blog.csdn.net/wangbin579）和郑钧的博客（http://www.cnblogs.com/zhengyun_ustc），以便让自己可以有个宏观的认识。 Tcpcopy是一个分布式在线压力测试工具，可以将线上流量拷贝到测试机器，实时的模拟线上环境，达到在程序不上线的情况下实时承担线上流量的效果，尽早发现bug，增加上线信心。 T...
Nginx应用案例分享：压力测试
Jucrazy_技术人生
02-17 733
在运维工作中，压力测试是一项非常重要的工作。比如在一个网站上线之前，能承受多大访问量、在大访问量情况下性能怎样，这些数据指标好坏将会直接影响用户体验。 　　但是，在压力测试中存在一个共性，那就是压力测试的结果与实际负载结果不会完全相同，就算压力测试工作做的再好，也不能保证100%和线上性能指标相同。面对这些问题，我们只能尽量去想方设法去模拟。所以，压力测试非常有必要，有了这些数据，我们就能对自己
第八章 流量复制/AB测试/协程
jinnianshilongnian的专栏
03-07 475
流量复制 在实际开发中经常涉及到项目的升级，而该升级不能简单的上线就完事了，需要验证该升级是否兼容老的上线，因此可能需要并行运行两个项目一段时间进行数据比对和校验，待没问题后再进行上线。这其实就需要进行流量复制，把流量复制到其他服务器上，一种方式是使用如tcpcopy引流；另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行...
Nginx代理服务器、HTTP调度、TCP/UDP调度、Nginx优化、HTTP错误代码、状态页面、压力测试
fmj121030的博客
01-28 2385
使用4台虚拟机，其中一台作为Nginx代理服务器，该服务器需要配置两块网卡，IP地址分别为192.168.88.5和192.168.99.5，两台Web服务器IP地址分别为192.168.99.100和192.168.99.200。使用4台虚拟机，其中一台作为Nginx代理服务器，该服务器需要配置两块网卡，IP地址分别为192.168.88.5和192.168.99.5，两台SSH服务器IP地址分别为192.168.99.100和192.168.99.200。
openeuler22.03 linux虚拟机Install a nginx from the source file. Download the stable version and install it with loadbalance module support and rtmp module.Then verify the function.
03-15
<think>好的，我需要帮助用户在openEuler 22.03 Linux虚拟机上从源码安装支持负载均衡模块和RTMP模块的Nginx稳定版，并验证功能。首先，我得理清楚整个流程。 用户提到了要添加负载均衡模块和RTMP模块。根据示例中的引用[^1]，负载均衡配置可能涉及stream模块和upstream配置。但这里用户需要的是编译时添加这些模块，可能需要确认是否默认包含或者需要额外模块。 首先，Nginx的负载均衡功能通常属于HTTP模块中的upstream，而stream模块用于TCP/UDP负载均衡。用户可能需要确保编译时包含这些模块。不过Nginx默认的源码中应该已经包含这些基础模块，但可能需要确认。而RTMP模块是第三方模块，需要单独下载源码并编译进去。 接下来，步骤应该是：安装依赖、下载Nginx源码和第三方模块（如RTMP）、配置编译参数、编译安装、配置文件和测试。 需要注意的点： 1. 安装编译所需的依赖包，比如gcc、make、pcre-devel、zlib-devel、openssl-devel等。 2. 下载Nginx稳定版源码，比如从官网获取最新稳定版本。 3. 下载RTMP模块的源码，比如nginx-rtmp-module。 4. 配置编译参数，使用--with-http_ssl_module（如果需要SSL），--with-stream（用于stream模块的负载均衡，可能用户需要的），以及添加RTMP模块的路径（--add-module=../nginx-rtmp-module）。 5. 编译和安装过程中可能遇到的错误，比如依赖缺失，需要处理。 6. 安装后的配置，比如修改nginx.conf，设置HTTP负载均衡或RTMP服务。 7. 启动服务，测试功能是否正常。 验证部分，对于负载均衡，可以配置多个后端服务器，或者用测试工具模拟请求。对于RTMP，可以使用推流工具测试流媒体功能。 可能遇到的问题：第三方模块的兼容性，比如RTMP模块是否支持最新的Nginx版本。需要确认版本匹配。 现在需要把这些步骤详细写出来，确保用户能正确执行。同时要提醒用户注意权限问题，比如可能需要开放防火墙端口，或者使用root权限操作。</think>在 openEuler 22.03 中通过源码编译安装 Nginx 并添加模块的完整步骤如下： ### 一、环境准备 1. 安装编译依赖 ```bash sudo dnf install -y gcc make pcre-devel zlib-devel openssl-devel git ``` 2. 下载源码 ```bash wget https://nginx.org/download/nginx-1.24.0.tar.gz tar zxvf nginx-1.24.0.tar.gz ``` 3. 获取第三方模块 ```bash git clone https://github.com/arut/nginx-rtmp-module.git ``` ### 二、编译配置 1. 进入源码目录 ```bash cd nginx-1.24.0 ``` 2. 配置编译参数（关键步骤） ```bash ./configure \ --prefix=/usr/local/nginx \ --with-http_ssl_module \ --with-stream \ --add-module=../nginx-rtmp-module ``` *注意：`--with-stream` 启用 TCP/UDP 负载均衡支持[^1]，`--add-module` 添加 RTMP 模块* ### 三、编译安装 ```bash make -j$(nproc) sudo make install ``` ### 四、功能验证 1. 创建配置文件 `/usr/local/nginx/conf/nginx.conf`： ```nginx worker_processes auto; events { worker_connections 1024; } http { upstream web { server 10.0.0.5:80; # 示例后端服务器 server 10.0.0.6:80; } server { listen 80; location / { proxy_pass http://web; } } } rtmp { server { listen 1935; application live { live on; record off; } } } ``` 2. 启动服务 ```bash sudo /usr/local/nginx/sbin/nginx ``` 3. 测试负载均衡 ```bash curl -I http://localhost ``` 4. 测试 RTMP 推流（需安装 OBS 或 ffmpeg）： ```bash ffmpeg -re -i test.mp4 -c copy -f flv rtmp://localhost/live/streamkey ``` ### 五、问题排查 1. 查看编译模块列表 ```bash /usr/local/nginx/sbin/nginx -V ``` 2. 日志查看 ```bash tail -f /usr/local/nginx/logs/error.log ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值