m0_70068933的博客

原创 Llama 3 超级课堂 作业

开始训练,使用 deepspeed 加速，A100 40G显存 耗时24分钟。LMDeploy 高效部署 Llama3 实践。通过命令行窗口直接与模型对话。作为前端，启动网页客户端，网页客户端连接API服务器。1.web demo部署。3）LMDeploy服务。完成合并，进入web。）使用W4A16量化。