使用阿里云免费三个月的DSW,这个int4需要至少12G显存才能跑
#安装pytorch
pip pytorch
#从github克隆代码
git clone https://github.com/OrionStarAI/Orion.git
#从model space克隆模型文件
git clone https://www.modelscope.cn/OrionStarAI/Orion-14B-Chat-Int4.git
#运行代码
CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model Orion-14B-Base-Int4 --tokenizer Orion-14B-Base-Int4 --prompt 你好,你叫什么名字
得到结果: