第五次课：LMDeploy 大模型量化部署实践

感谢书生·浦语和上海人工智能实验室提供的模型和算力支持！！！

官方笔记和课程：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md

问题：不会回答

接口知识：几种集成显示方式

最佳实践：

注意：需要安装官方的教程进行文件和环境的配置，不然模型不会”说话“，报GPU什么的错误。

命令转发设置：

注意，这一步由于 Server 在远程服务器上，所以本地需要做一下 ssh 转发才能直接访问（与第一部分操作一样），命令如下：

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

而执行本命令需要添加本机公钥，公钥添加后等待几分钟即可生效。ssh 端口号就是下面图片里的 33087。