书生万象训练营
文章平均质量分 79
11子贤
这个作者很懒,什么都没留下…
展开
-
MindSearch CPU-only 版部署
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务(免费的 InternLM2.5-7B-Chat 真的很香),MindSearch 的部署与使用也就迎来了纯 CPU 版本,进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。接下来,我们以 InternStudio 算力平台为例,来部署 CPU-only 的 MindSearch。原创 2024-08-28 09:45:19 · 916 阅读 · 0 评论 -
第三期-茴香豆
是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到,RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性,同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求,对 RAG 系统的开发、部署和调优的挑战更大,如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此,根据大量国内用户的实际需求,总结出了的茴香豆知识问答助手架构,帮助企业级用户可以快速上手安装部署。原创 2024-08-27 17:38:01 · 892 阅读 · 0 评论 -
Python 关卡
选择debug config时选择remote attach就行,随后会让我们选择debug server的地址,因为我们是在本地debug,所以全都保持默认直接回车就可以了,也就是我们的server地址为localhost:5678。3: step into: 进入函数或者方法。如果当行代码存在函数或者方法时,进入代码该函数或者方法。如果当行代码没有函数或者方法,则等价于step over。2: step over:跳过,可以理解为运行当前行代码,不进入具体的函数或者方法。点完运行到第一个断电。原创 2024-07-23 21:52:45 · 247 阅读 · 0 评论 -
Git 关卡
1.先在github创建一个初始化仓库。注意需要登录GitHub的账户才行。1.查看报名问卷ID:2393。5.切换到第三期的分支。7.创建自己的破冰文件。原创 2024-07-24 17:39:17 · 264 阅读 · 0 评论 -
8G 显存玩转书生大模型
直接终端输入安装(最好先创一个环境,我这有点漏了)会安装推理需要的所有包。原创 2024-07-26 14:33:23 · 373 阅读 · 0 评论 -
LangGPT结构化提示词编写实践
改成问哪个小就出现问题了,所以需要加一些提示词。18.88和18.111哪个小?原创 2024-07-26 16:52:46 · 190 阅读 · 0 评论 -
llamaindex+Internlm2 RAG实践
5.下载 Sentence Transformer 模型。新建一个python文件,并放入下面Python代码。源词向量模型,相对轻量、支持中文且效果较好。3.运行以下指令,新建一个python文件。2.运行以下指令,新建一个python文件。1.在data中新增GraphRAG的描述。4.安装 Llamaindex和相关的包。发现对这个GraphRAG知识理解比较差。6.下载 NLTK 相关资源。2.运行以下命令,获取知识库。3.安装相关基础依赖。不使用RAG的回复如下。点开提示即可打开网址。原创 2024-07-29 14:29:32 · 913 阅读 · 0 评论 -
LMDeploy 量化部署实践闯关任务-50%的A100跑的过程
注释:实验室提供的环境为虚拟化的显存,nvidia-smi是NVIDIA GPU驱动程序的一部分,用于显示NVIDIA GPU的当前状态,故当前环境只能看80GB单卡 A100 显存使用情况,无法观测虚拟化后30%或50%A100等的显存情况。模型在运行时,占用的显存可大致分为三部分:模型参数本身占用的显存、kv cache占用的显存,以及中间运算结果占用的显存。让我们回到LMDeploy,在最新的版本中,LMDeploy使用的是AWQ算法,能够实现模型的4bit权重量化。输入以下指令,执行量化工作。原创 2024-08-16 10:11:14 · 732 阅读 · 0 评论 -
探索 InternLM 模型能力边界
在中选择双模型对话,与InternLM2.5及另外任意其他模型对话,收集 5 个 InternLM2.5 输出结果不如其他模型的对话案例,以及 InternLM2.5 的 5 个 Good Case。原创 2024-08-15 15:38:39 · 894 阅读 · 0 评论 -
Lagent 自定义你的 Agent 智能体
在本节中,我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承BaseAction类实现简单工具的run方法;或者实现工具包内每个子工具的功能简单工具的run方法可选被tool_api装饰;工具包内每个子工具的功能都需要被tool_api装饰下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。然后,我们将下面的代码复制进入'dongman', # 动漫'guofeng', # 国风。原创 2024-08-14 14:27:51 · 691 阅读 · 0 评论 -
第三期)书生大模型实战营——OpenCompass评测InternLM-1.8B
测评维度如何评测主流大模型评测框架OpenCompass能力框架OpenCompass评测流水线设计大模型评测领域的挑战。原创 2024-08-09 20:58:01 · 746 阅读 · 0 评论 -
XTuner微调个人小助手认知
参数名解释data_path数据路径或 HuggingFace 仓库名max_length单条数据最大 Token 数,超过则截断是否将多条短数据拼接到 max_length,提高 GPU 利用率梯度累积,每多少次 backward 更新一次参数并行序列处理的大小,用于模型训练时的序列并行batch_size每个设备上的批量大小数据加载器中工作进程的数量max_epochs训练的最大轮数optim_type优化器类型,例如 AdamWlr学习率betas。原创 2024-08-06 18:15:21 · 628 阅读 · 0 评论 -
书生●浦语大模型开源开放体系
书生.浦语开源一周年性能天梯对比GPT-4书生●浦语2.5概览核心技术思路-数据驱动领先的推理能力100万Token 上下文-长文本定位效果很好基于规划和搜索解决复杂问题书生浦语开源模型谱系。原创 2024-08-06 14:47:48 · 308 阅读 · 0 评论 -
Linux + InternStudio 关卡
通过加密和认证机制实现安全的访问和文件传输等业务。SSH 协议通过对网络数据进行加密和验证,在不安全的网络环境中提供了安全的网络服务。组成,为建立安全的 SSH 通道,双方需要先建立 TCP 连接,然后协商使用的版本号和各类算法,并生成相同的。快捷键打开运行框,输入powerShell,打开powerShell终端。在完成用户认证后,双方即可建立会话进行数据交互。全称Secure Shell,中文翻译为安全外壳,它是一种。3.运行python3 hello_world.py。SSH 是(C/S架构)由。原创 2024-07-23 21:06:44 · 257 阅读 · 0 评论