nlpx2000的博客

原创 初夏专场：博学多才书生浦语“茴香豆“:零代码搭建你的独领风骚RAG 满腹经纶智能助理

RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，结合生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。

原创 初夏专场：绽放之花书生浦语OpenCompass评测大模型、自定义数据集齐芳争艳

以/root/opencompass/configs/datasets/ceval/ceval_gen_5f30c7.py文件为例，自定义自己的ceval数据集与配置，下列步骤中的文件均为按照格式新建自定义文件。数据集作为测试用。

原创 初夏专场：五彩缤纷书生浦语大模型XTuner微调 LLM:1.8B、多模态、Agent对话互动应用部署之旅

模型的回复在微调的前后出现了明显的变化。微调前的模型回答有逻辑性，.微调后严重过拟合。

原创 初夏专场：魔力四射书生浦语大模型Lagent&AgentLego智能体应用赋能

基于Lagent自定义一个工具。现一个调用和风天气API的工具以完成实时天气查询的功能。2.1基于AgentLego构建自己的自定义工具。实现一个调用MagicMaker的API实现图像生成的工具。实现生成不同风格的图像。

原创 初夏专场：一键搞定书生浦语LMDeploy量化部署LLM&VLM大模型实践

从大模型部署的背景、部署方法、以及实际部署中面临的挑战，包括计算量、内存开销、仿存瓶颈和用户请求不确定性等问题入手，通过LMDeploy环境部署、LMDeploy模型对话(chat)、LMDeploy模型量化(lite)、LMDeploy服务(serve)、Python代码集成、LMDeploy运行视觉多模态大模型llava、定量比较LMDeploy与Transformer库的推理速度差异了解实践量化部署大模型。视频学习请戳：LMDeploy 量化部署 LLM-VLM 实践_哔哩哔哩_bilibili。

原创 初夏专场：实战趣味Demo玩转了解书生浦语InternLM大模型部署

实战Lagent浦语·灵笔2均是运用模型进行微调训练的优秀成果。

原创 初夏专场：一张图带你了解书生浦语InternLM大模型开源体系的历程

原创 大模型OpenCompass评测实战

大模型发展过程中模型评测起到的意义，评测体系的发展、挑战、方向，评测社区的贡献与工具的作用，评测方式、方法、规范在大模型评测过程中全面了解大模型的优势和限制。数据集上的具有确定性答案的能力维度和场景，通过构造丰富完善的评测集，对模型能力进行综合评价，体现模型能力的开放式或半开放式的问题、模型安全问题等。第三步：opencompass/ opencompass/database/_init_.py文件中添加第二步中的py文件，注册实现的模块。评测完成情况，会打印出模型在各维度的一个评价情况。

原创 轻松Lagent&AgentLego搭建智能体应用

自定义工具主要分为以下几步：继承 BaseTool 类，修改 default_desc 属性（工具功能描述），如有需要，重载 setup 方法（重型模块延迟加载），重载 apply 方法（工具功能实现），下面我们将实现一个调用 MagicMaker 的 API 以实现图像生成的工具。（项目名称和 key 的名词自由输入即可，接下来回到项目管理页面，查看我们刚刚创建的 key，并且复制好以供使用。的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。

原创 XTuner 微调 InternLLM-1.8B、多模态

先了解XTuner的运行原理，准备数据，数据格式转换，采用的微调方法，选择一个模型，选择合适的配置文件，生成配置文件，对配置文件中模型、数据集地址进行修改，数据集的加载方式，选择提示模板，数据集映射的方式，训练主要参数deepspeed、续训、权重保存地址的修改，开始模型训练，模型转换及整合，对模型进行对话测试，根据测试结果是否继续调整模型训练，模型测试结果达到预期，对模型进行部署。使用这个额外的参数对话的模型和整合后的模型几乎没有什么太多的区别，因此我们可以通过测试不同的权重文件生成的。

原创 LMDeploy 量化部署 LLM 实践+进阶

pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令。internlm2-chat-1_8B模型量化部署与llava多模态模型llava-v1.6-7b部署实践。

原创 玩转“茴香豆“:零代码搭建你的 RAG 智能助理

执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth 现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",作为基础模型，复制茴香豆所需模型文件。

原创 书生·浦语大模型全链路开源体系

数据 -- 预训练 -- 微调 -- 部署 -- 评测 --应用。InternLM2-Chat：Base基础上，经过SFT和RLHF，面向对话交互惊醒了优化。主要亮点：超长上下文，综合性能全面提升，优秀的对话和创作体验，工具调用能力整体提升，突出的数理能力和实用的数据分析功能。InternLM2-Base：可塑性的模型基座。

原创 玩转InternLM2-Chat-1.8B 模型进行智能对话

6.chat创作小故事。