作业选LMDeploy部署本地对话。
1、离线转换模型
使用LMDeploy将本地之前下载的internlm2-7b模型转换为 lmdeploy TurboMind 的格式
2.使用LMDeploy部署chat模型
使用lmdeploy chat turbomind ./workspace部署刚才转化后的模型
作业选LMDeploy部署本地对话。
使用LMDeploy将本地之前下载的internlm2-7b模型转换为 lmdeploy TurboMind 的格式
使用lmdeploy chat turbomind ./workspace部署刚才转化后的模型