qq_43650129的博客

原创 茴香豆实战

Web 版茴香豆部署在浦源平台，可以让大家零编程体验茴香豆的各种功能。有作者大神亲自的视频演示。

原创 MindSearch 部署(上传HuggingFace)

由于是 CPU-only，所以我们选择 10% A100 开发机即可，镜像方面选择 cuda-12.2。（开发机不好排，直接30%A100）然后我们新建一个目录用于存放 MindSearch 的相关代码，并把 MindSearch 仓库 clone 下来。接下来，我们创建一个 conda 环境来安装相关依赖。# 创建环境# 激活环境# 安装依赖。

原创 LMDeploy 量化部署进阶实践

打开，进入如下界面并按箭头指示顺序点击。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。

原创 InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。

原创 Lagent 自定义你的 Agent 智能体

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。在本节中，我们将带大家基于 Lagent 自定义自己的智能体。继承BaseAction类实现简单工具的run方法；或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰；工具包内每个子工具的功能都需要被tool_api装饰下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。

原创 OpenCompass 评测 InternLM-1.8B 实践

在具体实践中，我们提前基于模型的能力维度构建主观测试问题集合，并将不同模型对于同一问题的不同回复展现给受试者，收集受试者基于主观感受的评分。同时，由于大语言模型输出自由度较高，在评测阶段，我们需要对其输入和输出作一定的规范和设计，尽可能减少噪声输出在评测阶段的影响，才能对模型的能力有更加完整和客观的评价。针对体现模型能力的开放式或半开放式的问题、模型安全问题等，采用主客观相结合的评测方式。针对如模型安全和模型语言能力的评测，以人的主观感受为主的评测更能体现模型的真实能力，并更符合大模型的实际使用场景。

原创 《书生·浦语大模型全链路开源开放体系》学习笔记

浦语官网 书生·浦语

原创 Xtuner

在完成 XTuner 的安装后，我们下一步就需要去明确我们自己的微调目标了。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。，在使用前我们需要准备好三个路径，包括原模型的路径、训练好的 Adapter 层的（模型格式转换后的）路径以及最终保存的路径。

原创 llamaindex+Internlm2 RAG实践

给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型） 运行以下指令，新建一个python文件。然后在命令行点击，licalhost的 url。

原创 浦语提示词工程实践

Prompt是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。Prompt可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。Prompt还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。

原创 8G 显存玩转书生大模型 Demo

选择 10% 的开发机，镜像选择为 Cuda-12.2。在输入开发机名称后，点击创建开发机。在创建完成后，我们便可以进入开发机了！

原创 Git课程任务

原创 internlm_python

1.实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。2.使用本地vscode连接远程开发机，将wordcount函数在开发机上进行debug。

原创 InternStduio的ssh连接、python

通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证，在不安全的网络环境中提供了安全的网络服务。组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的。用于后续的对称加密。在完成用户认证后，双方即可建立会话进行数据交互。全称Secure Shell，中文翻译为安全外壳，它是一种。SSH 是（C/S架构）由。

原创 趋动云部署chatglm3，超详细不踩坑全过程

在云上部署chatglm3模型，超详细，不踩坑。