关于我被大模型气到的事儿

背景

花了大半天时间用google colab部署的大模型，输出的结果竟然这么不着调！

基础模型是llama7B，用别人训练好的lora模型，和别人模型输入相同的prompt，输出结果差异还挺大，不过输出的中文结果还是能让人理解的，复现过程中难免有些不一致的情况，毕竟是拿别人的程序来跑，就不要求这么高了！

git 地址：https://github.com/Facico/Chinese-Vicuna

lora模型地址：Facico/Chinese-Vicuna-lora-7b-3epoch-belle-and-guanaco · Hugging Face

微调数据：Chinese-Vicuna/guanaco_belle_merge_v1.0 · Datasets at Hugging Face

哈哈，竟然有点幽默感在（话说时间是：17:58，时间并非实时，一脸正经的胡说八道 感）！

部署注意问题

如果想在colab上部署，还需要修改一些内容：

colab里如果只有Running on local URL，在电脑浏览器上是打不开的，需要调出：Running on public URL

参考：GitHub - deepanshu88/Alpaca-LoRA-Serve: Alpaca-LoRA as Chatbot service

以下是我成功跑起来的模型有修改的地方 chat.py文件：

1、参数添加部分(注意：--lora_path,--share)：

parser.add_argument("--model_path", type=str, default="decapoda-research/llama-7b-hf")
parser.add_argument("--lora_path", type=str, default='/content/Chinese-Vicuna/Chinese-Vicuna-lora-7b')
parser.add_argument("--use_typewriter", type=int, default=0)
parser.add_argument("--prompt_type", type=str, default='chat')
# parser.add_argument("--share_link", type=int, default=0)
parser.add_argument("--port", type=int, default=6006)
parser.add_argument("--api_open", help='Open as API', action='store_true')
parser.add_argument("--share", help='Create and share temporary endpoint (useful in Colab env)', action='store_true')
parser.add_argument("--show_beam", type=int, default=0)
parser.add_argument("--int8", type=int, default=1)

2、gradio的启动部分

demo.queue(
    concurrency_count=2,
    max_size=100,
    api_open=args.api_open
).launch(
    max_threads=2,
    share=args.share,
    server_port=args.port,
    server_name="0.0.0.0",
)

后话

文件目录注意部分（lora下载后有改名）：

工程启动命令：

!python3.10 chat.py --share