- 博客(13)
- 收藏
- 关注
RSS订阅原创 Opencompass大模型评测实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-05-11 23:23:55
636
1
原创 Lagent & AgentLego 智能体应用搭建
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。
2024-05-11 22:35:16
598
1
原创 LMDeploy 量化部署 LLM&VLM 实践
由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy。
2024-05-11 16:02:20
395
1
原创 XTuner 微调 LLM：1.8B、多模态
在本节中，我们将自己构造数据对，基于InternLM2_Chat_1.8B这个文本单模态模型，使用LLaVA方案，训练一个给InternLM2_Chat_1.8B使用的Image Projector文件。LLaVA方案中，给LLM增加视觉能力的过程，即是训练Image Projector文件的过程。该过程分为2个阶段：Pretrain和Finetune。
2024-05-02 00:43:00
967
1
原创 “茴香豆“：搭建你的 RAG 智能助理
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
2024-05-01 19:52:50
941
原创 轻松玩转书生·浦语大模型趣味 Demo(第二期)
使用模型生成 300 字的小故事（需截图）1.1进入开发机后，在terminal中输入环境配置命令1.2配置完成后，进入到新创建的conda。
2024-05-01 17:18:21
295
原创 书生·浦语大模型实战营-使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能
-tokenizer-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace tokenizer 路径（如果与模型路径相同，可以省略）--hf-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace 模型路径。--max-seq-len 2048 \ # 模型可以接受的最大序列长度。--max-out-len 16 \ # 生成的最大 token 数。
2024-02-20 19:44:46
1269
1
原创 书生·浦语大模型实战营-LMDeploy 的量化和部署
每一份参数第一个 0 表示“层”的索引，后面的那个0表示 Tensor 并行的索引，因为我们只有一张卡，所以被拆分成 1 份。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
2024-02-20 19:41:57
774
1
原创 书生·浦语大模型实战营-XTuner 大模型单卡低成本微调实战
构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！微调前（回答比较官方）微调后（对自己的身份有了清晰的认知）
2024-02-20 19:27:34
1497
1
原创 书生·浦语训练营-基于 InternLM 和 LangChain 搭建你的知识库
完成 LangChain 的自定义 LLM 子类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。由于不同类型的文件需要对应不同的 FileLoader，我们判断目标文件类型，并针对性调用对应类型的 FileLoader，同时，调用 FileLoader 对象的 load 方法来得到加载之后的纯文本对象。目录，将该脚本和后续脚本均放在该目录下运行。微调技术的优势在于能够利用预训练模型的通用知识，同时通过针对性的训练适应具体任务，提升模型在特定应用场景下的性能。
2024-02-13 23:00:37
1543
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人