goal55-CSDN博客

原创第7讲使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

2024-04-23 15:51:49 845

原创第六讲 Lagent & AgentLego 智能体应用搭建

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将基于 Lagent 自定义一个工具。Lagent 中关于工具部分的介绍文档位于动作 — Lagent。继承 BaseAction 类实现简单工具的 run 方法；

2024-04-20 22:14:25 1650

原创第五课 LMDeploy 量化部署 LLM-VLM 实践

TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。

2024-04-18 16:57:11 761

原创第四课-——XTuner 微调 LLM：1.8B、多模态、Agent

在本节中主要跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！

2024-04-15 19:05:44 1715

原创第三期：书生浦语：搭建你的RAG智能助理

1、RAG的概述：RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。主要应用在问答系统、文本生成、信息检索以及图片描述上。（视为一个搜索引擎，在外部知识库中搜索相关知识）、下图为工作原理向量数据库是RAG中专门存储外部知识库的地方，是实现快速回答的基础。

2024-04-15 09:22:50 1721

原创书生浦语实战训练营第二课笔记

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。关键点：下载Demo文件下载模型，构建SSH链接，可启动大模型。关闭原有终端开启新的终端，进行图文理解实战。模型生成 300 字的小故事。文件到本地（需截图下载过程）python 包，下载。

2024-04-05 14:29:58 379

原创《书生·浦语大模型全链路开源体系》第一节课程笔记

在各能力维度全面进步，在推理、数学、代码等方面的能力提升尤为显著，综合性能达到同量级开源模型的领先水平，在重点能力评测上InternLM2-chat-20B甚至可以达到比肩ChatGPT（GPT-3.5）的水平。利用高质量语料的特征从物理世界、互联网以及语料库中进一步富集更多类似语料。基于文本质量、信息质量、信息密度等维度对数据价值进行综合评估与提升。针对性补充语料，重点加强世界知识、数理、代码等核心能力。新一代数据清洗过滤技术。

2024-04-01 10:36:28 149

shafsyjwqt的博客