qq_46212981的博客

开源的 AI 搜索引擎。

【代码】书生大模型实战营第四期-linux基础。

基于UCM场景分类数据集构建简单的对话文本，随后利用Xtuner微调LLAVA模型，实现遥感图文问答，主要是场景分类。

第一节 书生·浦语大模型全链路开源体系第二节 轻松玩转书生·浦语大模型趣味 Demo第三节 基于 InternLM 和 LangChain 搭建你的知识库第四节 XTuner 大模型单卡低成本微调实战第五节 LMDeploy大模型量化部署实践第六节 OpenCompass 大模型评测。

发现有些任务的分数没有被记录，可能是由于运行的时候断开了链接。应该使用tmux后台运行，就不会出现该问题。

介绍大模型评测的基本知识，OpenCompass工具介绍，并实现一个评测的demo提示：以下是本篇文章正文内容，下面案例可供参考主要介绍了模型评测的基础知识，opencompass工具的使用方法，随后实现了internlm7b模型在C-Eval数据集下的效果。

LMDeploy本地对话（未经过TurboMind加速）：TurboMind加速后：

本文介绍大模型部署的背景知识，并介绍LMDeploy工具，并实现一个部署demoLLM在英伟达设备上的部署方案，包含模型轻量化、推理和服务推理性能：静态（固定batch和输出输入的token数目）：小batch下性能是fp16的两倍，batch越大加速效果越不明显动态（输入输出不定长）：精度优于vLLM框架本文主要介绍了模型量化和LMDeploy的基本应用，并实现了几个部署的demo。

个人小助手认知微调：通过微调让模型了解自己身份。

介绍Finetune和XTunner的概念。并微调Xtuner两种微调模式：增量预训练、指令跟随增量预训练：用文章、数据、代码等让基座模型学到一些新知识指令跟随：用高质量的对话和问答数据让模型学会对话模板指令微调之前，模型不知道自己要回答一个问题支持热门数据集的映射支持多数据的样本拼接如果要用别的数据集进行微调，需要将数据转换成Xtuner的格式准备配置文件运行xtuner微调然后把pth转换成Huggingface格式。

书生·浦语大模型实战营笔记-第三节作业知识库助手搭建过程1.环境配置2.数据准备3.知识库搭建4.检索问答链构建5.WebDemo

介绍基于基于 InternLM 和 LangChain 搭建知识库的概念、思路和步骤LangChain是为LLM提供通用接口，用来简化开发流程核心组成模块是Chains：用于将组建组合实现端到端的应用下图展示了基于LangChain搭建RAG应用的步骤主要学习了大模型开发的RAG范式，并基于LangChain工具实现了一个检索问答的demo。

过程如下结果如下。

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考实现了三个demo，分别是对话模型，latant模型，以及多模态创作模型，并学习了huggingface的使用方法。

从数据、预训练、微调、部署、评测、应用等方面介绍了intern-LM的开源工具一套很全面的大模型开源体系，包含了数据、预训练、微调、部署、评测、智能体应用等方面。