嘻嘻嘻577-CSDN博客

原创 OpenCompass大模型评测实战第七课

1、OpenCompass 亮点开源与复现：提供公平、公开、可复现的评测方案。全面的能力维度：五大维度设计，提供70+个数据集约40万题的模型评测方案。模型支持：已支持20+ HuggingFace 及 API 模型。分布式高效评测：一行命令实现任务分割和分布式评测，快速完成模型全量评测。多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板。灵活化拓展：轻松增加新模型、数据集或自定义高级任务分割策略。2、CompassKit：大模型评测全栈工具链。

2024-06-16 22:30:49 847

原创 Lagent & AgentLego 智能体应用搭建第六课实战

感知：能够感知环境中的动态条件。动作：能采取动作影响环境。推理：运用推理能力理解信息、解决问题、产生推断、决定动作。选择了基于 Lagent 自定义一个工具：继承 BaseAction 类实现简单工具的 run 方法；或者实现工具包内每个子工具的功能简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰实现一个调用和风天气 API 的工具以完成实时天气查询的功能import os@tool_api"""一个天气查询API。

2024-06-16 16:37:50 1626

原创 LMDeploy 量化部署第五课实战

LMDeploy由 MMDeploy和MMRazor团队联合开发，涵盖了LLM任务的全套轻量化、部署和服务解决方案，核心功能包括高效推理、可靠量化、便携服务和状态推理。核心功能高效推理：提高请求处理效率，通过连续处理批量请求，减少等待时间。：优化内存使用，使用分块的KV Cache，减少显存占用。动态拆分和融合：根据硬件资源情况动态调整模型分割方式，提高硬件资源利用率。张量并行：将模型计算分散到多个设备上并行执行，提升计算效率。可靠量化。

2024-06-15 23:09:20 732

原创 XTuner 微调个人小助手第四课实战

1.XTuner简介傻瓜化：以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调轻量化：对于7B参数的LLM，微调所需最小显存为8G：消费级显卡、colab多生态支持：XTuner支持HuggingFace和ModelScope的模型和数据集，提供了丰富的模型资源和数据集。硬件适配：支持NVIDIA 20系以上显卡，最低8GB显存即可运行，极大降低了硬件门槛。多种微调算法：包括LoRA、QLoRA等，可以根据具体需求选择最适合的微调算法。显存和计算优化。

2024-06-15 17:35:57 1783

原创茴香豆：搭建RAG智能助手第三课实战

RAG 生态、三种范式、RAG优化方法、RAG关键问题（检索什么？何时检索？如何检索？）、RAG 发展前景、RAG评测（目标、评测维度、评测框架）茴香豆是基于LLMs的领域知识助手，由书生浦语团队开发的开源大语言模型的应用。专为即时通讯工具IM中的群聊场景优化的工作流，提供及时准确的技术支持和自动化问答服务。应用RAG技术，茴香豆能理解和高效准确回应与特定知识领域相关的复杂查询。应用场景 & 场景难点智能客服：技术支持、领域知识对话IM工具中创建用户群组，讨论、解答相关问题。

2024-06-08 17:35:53 730

原创书生·浦语大模型趣味 Demo 第二课实战

八戒-Chat-1.8B 利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，全量微调后得到的猪八戒聊天模型。作为 Roleplay-with-XiYou 子项目之一，八戒-Chat-1.8B 以较低的训练成本达到不错的角色模仿能力，同时低部署条件为后续工作降低算力门槛。

2024-06-06 22:14:12 1762 1

原创书生·浦语大模型全链路开源体系第一课课程笔记

大模型成为发展通用人工智能的重要途径从（针对特定任务）→（多种任务、多种模态通用）语言模型 → 智能体。

2024-06-05 22:49:47 772

weixin_62638966的博客