C.s-CSDN博客

原创进阶岛-5《茴香豆：企业级知识问答工具实践闯关任务》-学习笔记

是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。

2024-09-28 03:21:01 798

原创进阶岛-4.《InternVL 多模态模型部署微调实践》-学习笔记

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。

2024-09-27 23:07:16 851

原创进阶岛-3.《LMDeploy 量化部署进阶实践》-学习笔记

点选开发机，自拟一个开发机名称，选择镜像。我们要运行参数量为7B的InternLM2.5，由查询InternLM2.5-7b-chat的config.json文件可知，该模型的权重被存储为bfloat16格式。所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

2024-09-27 16:25:34 798

原创进阶岛-2.《Lagent 自定义你的 Agent 智能体》-学习笔记

Lagent 中关于工具部分的介绍文档位于。继承BaseAction类实现简单工具的run方法；或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰；工具包内每个子工具的功能都需要被tool_api装饰下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。

2024-09-26 11:34:28 525

原创基础岛-5.《XTuner 微调个人小助手认知》-学习笔记

使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，如下图所示（需替换成自己的昵称），记录复现过程并截图。

2024-08-11 12:28:29 980

原创基础岛-6.《OpenCompass 评测 InternLM-1.8B 实践》-学习笔记

（注意：上方在git clone opencompass 时一定要将 opencompass clone 到 /root 路径下）在创建开发机界面选择镜像为 Cuda11.7-conda，并选择 GPU 为10% A100。面向GPU的环境安装。列出所有跟 InternLM 及 C-Eval 相关的配置。将会在 OpenCompass 下看到data文件夹。

2024-08-11 09:23:19 351

原创基础岛-4.《llamaindex+Internlm2 RAG实践》-学习笔记

将问题A定义为："xtuner是什么?分别进行测试回答。

2024-08-10 22:23:16 768

原创基础岛-3.《浦语提示词工程实践》-学习笔记

Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。

2024-08-10 18:20:29 673

原创基础岛-2.《8G 显存玩转书生大模型 Demo》-学习笔记

本关任务主要包括：InternLM2-Chat-1.8B 模型的部署（基础任务）InternLM-XComposer2-VL-1.8B 模型的部署（进阶任务）InternVL2-2B 模型的部署（进阶任务）任务详情参见。我们选择 10% 的开发机，镜像选择为 Cuda-12.2。在输入开发机名称后，点击创建开发机。使用 VScode 连接开发机，利用以下命令创建名为 demo 的环境。

2024-08-10 15:40:47 844

原创基础岛-1.书生大模型全链路开源体系-学习笔记

2023年6 月 7 日InternLM 干亿参数语言大模型发布。InternLM 2于2024年1月17日开源，包含两个规格（7B和20B）和三个不同版本（InternLM2-Base、InternLM2、InternLM2-Chat）。每个版本都根据不同的需求进行了优化，从轻量级研究到复杂使用场景，再到对话交互应用，InternLM 2展示了其在多方面的强大性能和适应性。7B：提供了一个轻便但性能不俗的模型，适用于轻量级研究和应用。20B：综合性能更为强劲，能够有效支持更加复杂的使用场景。

2024-08-02 11:22:11 800

原创书生大模型实战营三期入门岛-2.Python

（1）worldcount进行debug演示。（4）在vscode使用命令行进行debug。（5）使用别名简化命令。

2024-07-23 20:59:59 220

原创书生大模型实战营三期入门岛-1.Linux

可选任务2：使用 VSCODE 远程连接开发机并创建一个conda环境。（2）使用VScode进行SSH远程连接。（1）使用 vscode 进行端口映射。vscode成功连接并进入root目录。（1）使用 ssh 命令进行端口映射。运行helloworld.py文件。（1）通过密码进行SSH连接。1.创建开发机并进入查看。创建成功并激活llm环境。vscode 自动转发。可选任务3：创建并运行。

2024-07-23 20:58:56 219

原创书生大模型实战营三期入门岛-3.Git

（1）安装git（2）创建fork（3）克隆项目并查看分支（4）自定义一个新的分支并创建自己的破冰文件（5）提交更改到分支（6）查看提交并在 github 页面将修改的内容 PR 到 Tutorial。

2024-07-23 20:46:52 148

原创 AssertionError: The `num_classes` (14) in Shared2FCBBoxHead of MMDataParallel does not matches the。。

关于mmdetection报错AssertionError: The `num_classes` (14) in Shared2FCBBoxHead of MMDataParallel does not matches the length of `CLASSES` 80) in CocoDataset修改最简单的方法，只需要在config文件里修改。好多教程去修改coco.py和class_names.py,很麻烦，其实只需要在data里train，val，test里面加入你的classes就解决。

2023-03-11 11:36:11 516 1

weixin_43806237的博客