nginx负载均衡-提升服务的并发能力

我使用的框架是python的fastAPI,一个简单的hello world，加一个sleep(2)模拟耗时操作。代码如下：

import time
import uvicorn
from fastapi import FastAPI

app = FastAPI()

@app.get("/")
async def read_root():
    time.sleep(2)  # 模拟耗时操作
    return {"Hello": "World"}

先单进程启动

启动命令：

uvicorn --host 0.0.0.0 --port 5000 --workers 1 yourfilename:app

使用的测试工具是ab（Apache Benchmark）。测试的时候为了避免干扰，最好将ab和服务放在不同的机器上。
-c 和 -n 参数可以从小到大慢慢增加：

当并发数为 50 请求数为1000 时：

> ab -c 50 -n 1000 your_url

Requests per second:    5.87 [#/sec] (mean)
Time per request:       8518.141 [ms] (mean)

当并发数为 100 请求数为1000 时：

> ab -c 100 -n 1000 your_url

Requests per second:    5.87 [#/sec] (mean)
Time per request:       17034.188 [ms] (mean)

可以看到，平均每秒处理的请求数不变，单个请求的响应时间变长了

使用多进程启动：

uvicorn --host 0.0.0.0 --port 5000 --workers 4 yourfilename:app

当并发数为 100 请求数为1000 时：

> ab -c 100 -n 1000 your_url

Requests per second:    21.66 [#/sec] (mean)
Time per request:       4617.610 [ms] (mean)

可以看到，使用多进程，平均每秒处理的请求数变多了，单个请求的响应时间也变短了

nginx负载均衡

当并发量超过一定数量，一台机器也难以承受，这时候可以部署多台服务器，然后用nginx做负载均衡。
nginx的关键配置：

http {
    ……
    upstream load_balance_test {
        server 1.1.1.1:5000; # 你的多台服务器
        server 192.168.1.1:5000;
    }
    server {
        listen       80;
        ……
        location / {
            proxy_pass http://load_balance_test;
        }
    }
    ……
}

这次同样是 并发数 100 请求数1000，请求地址是nginx所监听的地址：

> ab -c 100 -n 1000 nginx地址:端口

Requests per second:    33.19 [#/sec] (mean)
Time per request:       3012.560 [ms] (mean)