服务器环境:
显卡驱动:Driver Version: 530.30.02
CUDA版本:CUDA Version: 12.1
显卡:NVIDIA GeForce RTX 3090共4张
用CPU就挺快的,所以我没把显卡映射到docker容器中,但从容器的代码中能看到,只要把显卡映射到容器就能自动判断是否有显卡。
docker-compose.yml内容如下:
version: '3'
services:
m3e_api:
container_name: m3e_api
environment:
TZ: Asia/Shanghai
image: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
restart: always
networks:
- general
ports:
- "6200:6008"
networks:
general:
external: true
然后把m3e配置到one-api
注意:密钥一定要配置成“sk-aaabbbcccdddeeefffggghhhiiijjjkkk”
因为容器里的执行脚本中,判断了key是不是等于 “sk-aaabbbcccdddeeefffggghhhiiijjjkkk”,key不一致会出现401错误。
也可以在docker-compose.yml的environment中自定义key的值。
environment:
sk-key:'sk-112233'