sunney的博客

大语言模型（LLM）在理解和生成自然语言文本方面已经取得了显著的进步。随着应用场景的逐渐多样化，利用模型快速写出高质量代码，修复代码 Bug，提升开发效率等需求对大语言模型编程代码的能力提出了新的挑战。学术社区在代码大模型上发展迅速，如 Code LLaMa，WizardCoder 等在社区获得了广泛关注。那我们该如何进行代码大模型的选型？相信通过全面透明的代码能力评测，你一定可以找到最适合自己需求的代码大模型方案。

1.使用 InternLM2-Chat-7B 模型生成 300 字的小故事2.熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM2-20B 的 config.json 文件到本地进阶:1.完成 Lagent 工具调用 Demo 创作部署使用了pythonInterpreter工具2.完成浦语·灵笔的图文理解及创作部署。

LMDeploy 由MMDeploy和MMRazor团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。**交互推理方式：**通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。多 GPU 部署和量化。

大模型(FFT的原理，就是用特定的数据，对大模型进行训练，将W变成W，W相比W ，最大的优点就是上述特定数据领域的表现会好很多。不同的分类角度，只是侧重点不一样，对同一个大模型的微调，也不局限于某一个方案，可以多个方案一起。微调的最终目的，是能够在可控成本的前提下，尽可能地提升大模型在特定领域的能力。

LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用。LangChain 的核心组成模块:链（Chains）：将组件组合实现端到端应用，通过一个对象封装实现一系列 LLM 操作Eg. 检索问答链，覆盖实现了 RAG（检索增强生成）的全部流程1. 数据收集本次选用由上海人工智能实验室开源的一系列大模型工具开源仓库作为语料库来源，选用上述仓库中所有的 markdown、txt 文件作为示例语料库。2. 加载数据。

InternLM 是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。通过单一的代码库，它支持在拥有数千个 GPU 的大型集群上进行预训练，并在单个 GPU 上进行微调，同时实现了卓越的性能优化。在 1024 个 GPU 上训练时，InternLM 可以实现近 90% 的加速效率。基于 InternLM 训练框架，上海人工智能实验室已经发布了两个开源的预训练模型：InternLM-7B 和 InternLM-20B。

6.应用：Lagent AgentLego。2.预训练：InternLM-Train。5.评测：OpenCompass。4.部署：LMDeploy。3.微调：XTuner。1.数据：书生·万卷。