Azure chatgpt demo部署 ——AWS EC2 Docker部署

Github地址

https://github.com/microsoft/sample-app-aoai-chatGPT?tab=readme-ov-file#environment-variables

取2023年7月23日代码。

使用Amazon Linux 2 AMI 的arm 64版本镜像, t4g.medium实例。

需要安装git，可能需要安装 pip3等

sudo apt-get install -y python3-pip

然后从如下地址clone代码

https://github.com/microsoft/sample-app-aoai-chatGPT.git

如果不使用requirement.txt安装依赖库，则可能会提示没有版本号，需要如下方法解决

python3 -m pip install --user --upgrade pip

requirement.txt中需要注意版本号，因为Dockerfile需要从中读取flask、werkzeug等版本信息，否则会出现版本号不对应等问题。注意：如果本地部署，可能需要更新pip源。

Name: Werkzeug
Version: 2.2.3

Name: Flask
Version: 2.2.2

Name: requests
Version: 2.31.0

urllib3==1.26.15

uvicorn==0.24.0

gunicorn==20.1.0

openai对应api的版本问题，可以在requirement.txt中指定 openai的版本号为0.27.7或0.28

安装和启动docker 等

yum install docker
sudo systemctl restart docker

生成等

sudo docker build -t 'gpt' .
sudo docker run -d -p 80:80 --name chatgpt gpt

Q&A：

问题1：需要用到4G及内存以上，否则会在在docker build时，报错

=> [frontend 9/9] RUN npm run build                                                                                                                                    250.2s 
 => => # [16:0xffffbaf195c0]    31747 ms: Mark-Compact (reduce) 917.1 (938.4) -> 917.0 (939.1) MB, 966.76 / 0.02 ms  (+ 29.4 ms in 6 steps since start of marking, biggest ste 
 => => # p 12.0 ms, walltime since start of marking 1018 ms) (average mu = 0.337, current mu = 0.19[16:0xffffbaf195c0]    33415 ms: Mark-Compact (reduce) 919.1 (940.6) -> 918 
 => => # .8 (941.1) MB, 1450.30 / 0.00 ms  (average mu = 0.227, current mu = 0.130) allocation failure; GC in old space requested                                             
 => => # <--- JS stacktrace --->                                                                                                                                              
 => => # FATAL ERROR: Reached heap limit Allocation failed - JavaScript heap out of memory                                                                                    
 => => # ----- Native stack trace -----  

问题2：docker 启动后报lifespan，运行程序时报 internet server error

TypeError: Flask.__call__() missing 1 required positional argument: 'start_response'

解决方法，进入gunicorn.conf.py文件中，注释掉uvicorn相关内容