qq_36837206的博客

有 8 G 显存即可。

书生大模型体系非常完善，从微调到部署一应俱全。部署上也支持模型压缩、量化、分发，兼容性好；并且贴心的提供了 web demo，快速部署。

微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。在大模型出现以前，很多 CV、NLP 任务也都是基于预训练模型来做的。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。

任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。RAG（Retrieval Augmented Generation）是检索增强生成。

背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。任务要求：利用LangGPT优化提示词，使LLM输出正确结果。

训练营非常贴心的给我们准备好了现成的环境。InternML 为我们提供了一个基础的 web 代码，我们 clone 到本地。LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包，由 MMRazor 和 MMDeploy 团队开发。激活环境后，我们在 root 目录下创建一个 demo 目录，然后创建一个文件 cli_demo.py 编写部署代码。服务启动后，我们上传图片，然后输入 Instruction，按下回车，就可以看到模型的输出啦。这里，我已经创建过开发机了，直接启动。我们来看看到底多好！

这书书生大模型实战训练营 Python 前置基础知识的闯关任务。第一个闯关任务是经典的单词计数问题，考察了对字符串的处理，数据结构的使用。第二个闯关任务是 ssh 远程连接服务器进行 debug。远程开发，debug 也是以后编写算法模型，给算法debug常用的功能。两个闯关任务都是非常经典且实用的。

复制登录命令到控制台执行，然后在复制密码粘贴过去，即可通过ssh进入开发机。进入控制台 `https://studio.intern-ai.org.cn/console/instance`，创建开发机，按需求选择配置。的部署实践，在开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的。：关闭严格的主机密钥检查，这样可以避免第一次连接时因为未知主机密钥而产生的提示或错误。来到开发机界面，找到我们的开发机，点击。进入开发机页面，启动开发机。