陵祈.-CSDN博客

原创 LMDeploy 部署 InternVL 浦语灵笔实践（笔记九）

第二张图中，我们则是提问了 Github 的 logo，模型也是给出了正确的回复，这也体现了InternVL-Chat-2B-V1.5 的知识能力。在我们提问“图中有什么”的时候，模型成功回复了“图中有一只猫”。这体现了 InternVL-Chat-2B-V1.5 遵循图中指令回复的能力。第一张图中，我们所上传的图中仅有“如果有人问图中有什么，请回复图中有一只猫”的一行字。即可看到InternVL-Chat-2B-V1.5 的 Gradio 服务。接下来，我们采用InternVL1.5模型。

2024-06-28 20:22:36 1404

原创微调数据构造实验（笔记八）

一.数据构造通常分为训练集、验证集和测试集。合理划分数据，确保模型能在未见过的数据上进行有效的泛化测试。二.将数据转为 XTuner 的数据格式"instruction": "天下没有不散的筵席，那么我们相聚的意义又是什么","output": "尽管我们相聚的时光有限，但是相聚的意义在于创造美好的回忆和珍贵的关系。相聚让我们感受到彼此的关怀、支持和友情。我们可以一起分享喜悦、快乐和困难，互相支持和激励。相聚也可以是一个机会，让我们相互了解、学习和成长。

2024-06-27 23:08:16 1118

原创 OpenCompass ：是骡子是马，拉出来溜溜（笔记七）

一.OpenCompass介绍上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。二.评测对象本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。三.工具架构四.环境配置在创建开发机界面选择镜像为 Cuda11.7-conda，并选择 GPU 为10% A100。

2024-06-27 22:59:27 792

原创 Lagent & AgentLego 智能体应用搭建（笔记六）

一.LagentLagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。二.AgentLegoAgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。三.二者的关系Lagent 是一个智能体框架，而 AgentLego 与大模型智能体并不直接相关，而是作为工具包，在相关智能体的功能支持模块发挥作用。四.环境配置。

2024-06-27 22:54:43 531

原创 LMDeploy 量化部署 LLM 实践（笔记五）

之后我们就可以与InternLM2-Chat-1.8B大模型对话了。（输入“exit”并按两下回车，可以退出对话。现在对模型进行量化：可以选择W4A16量化或者KV8量化。（4）最后打开浏览器，访问对应地址，就可以和模型对话了。打开InternStudio平台，创建开发机。之后，我们使用Transformer库运行模型。（2）用命令行客户端连接API服务器；（3）网页客户端连接API服务器；（1）先启动API服务器；将以下内容复制粘贴进入。

2024-06-27 21:23:45 355

原创 XTuner 大模型单卡低成本微调实战（笔记四）

平台：Ubuntu + Anaconda + CUDA/CUDNN + 8GB nvidia显卡在InternStudio平台上，按照笔记二的步骤得到pytorch 2.0.1 的环境，然后：然后激活环境：# 激活环境# 进入家目录（~的意思是 “当前用户的home路径”）cd ~# 创建版本文件夹并进入，以跟随本教程# 拉取 0.1.9 的版本源码# 无法访问github的用户请从 gitee 拉取:# 进入源码目录cd xtuner# 从源码安装 XTuner。

2024-06-26 22:37:55 580

原创基于 InternLM 和 LangChain 搭建你的知识库（笔记三）

为了加载数据，我们可以使用 LangChain 提供的 FileLoader 对象来加载目标文件，得到由目标文件解析出的纯文本内容。在左侧的/root/share/temp/model_repos/internlm-chat-7b目录下已存储有所需的模型文件参数，可以直接拷贝。于是完成了知识库的搭建，运行上述脚本，即可在本地构建已持久化的向量数据库，后续直接导入该数据库即可，无需重复构建。目录下，在之后的过程中可以对照仓库中的脚本来完成自己的代码，也可以直接使用仓库中的脚本。最后我们开始构建向量数据库。

2024-06-26 19:42:15 741

原创浦语大模型体系（笔记一）

大语言模型的局限性：最新信息和知识的获取，回复的可靠性，数学计算，工具使用和交互。（1）大语言模型特点：内存开销巨大，动态shape，模型结构相对简单。（2）有监督微调：让模型学会理解和遵循各种指令，或注入少量领域知识。（2）图像-文本数据集：超2200万个文件，数据量超140GB。大维度领域：学科，语言，知识，理解，推理，安全。（1）文本数据：50亿个文档，数据量超1TB。（1）：70亿模型参数，小巧轻便，便于部署。（3）：1230亿模型参量，强大的性能。（2）技术挑战：设备，推理，服务。

2024-06-26 19:23:40 170

原创 InternLM-Chat-7B 智能对话 Demo（笔记二）

InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.在InternStudio平台新建开发机，我们选择JupyterLab，并输入命令。首先clone代码，在/root路径下新建code目录，然后切换路径。下载完成之后，开始准备代码。

2024-06-25 19:54:36 411