复旦大学开源对话语言模型MOSS部署笔记

 1, 硬件要求

1.1 硬盘,100G以上,代码+模型数据约50G, 我第一次部署的时候在虚拟机上,存储不足各种问题.

1.2 高性能计算显卡A100/A800,网上搜了一下超过8w块钱,暂时没这资源

1.3 内存, github上有这样描述:可在单张A100/A800或CPU运行，使用FP16精度时约占用30GB显存.搜了一下,我在虚拟机上测试,8G内存报错Cannot allocate memory, 然后放弃虚拟机了,大家部署的时候8G以下内存的机器可以不用试了.具体要多大内存待定.

2, 部署

按照github地址下载仓库和创建conda, github地址: GitHub - OpenLMLab/MOSS: An open-source tool-augmented conversational language model from Fudan University

第3步安装依赖使用阿里资源,境外资源下载太慢

 pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

然后等待10几分钟... ...

3, 阿里云免费的 GPU 服务器

老用户