祈257-CSDN博客

原创【书生·浦语大模型实战营】第7节笔记：OpenCompass 大模型评测实战

客观数据集：自建步骤。主观评测：真实对话场景下评估。尝试构建自定义数据集，并提交至OpenCompass官网。支持新数据集 — OpenCompass 0.2.4 文档主观评测指引 — OpenCompass 0.2.4 文档CompassHub自定义数据集：：高质量中文文章，涵盖多个领域。

2024-04-26 20:38:13 610 1

原创【书生·浦语大模型实战营】第6节笔记：Lagent & AgentLego 智能体应用搭建

新建工具文件，实现天气查询功能。工具类继承自BaseAction，使用tool_api装饰器。确保之前的 LMDeploy 服务和 Web Demo 服务已停止。设置环境变量为之前获取的 API KEY。激活 Conda 环境，运行streamlit启动 Web Demo。进行端口映射，输入模型地址，选择工具，开始体验。创建文件，实现调用 MagicMaker API 进行图像生成的工具。

2024-04-26 16:07:53 766 1

原创【书生·浦语大模型实战营】第5节笔记：LMDeploy 量化部署以及LLM&VLM 实践

（设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话）

2024-04-26 12:02:49 825 2

原创【书生·浦语大模型实战营】第4节笔记：Xtuner微调

两种Finetune范式LLM的下游应用中，增量预训川练和指令跟随是经常会用到两种的微调模式：·增量预训练微调1.使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识2.训练数据：文章、书籍、代码等· 指令跟随微调1.使用场景：让模型学会对话模板，根据人类指令进行对话2.训练数据：高质量的对话、问答数据全参 VS Lora VS QLora文本单模态：输入文本，通过文本Embedding模型转换成文本向量，由LLM处理后输出文本。文本+图像多模态。

2024-04-21 01:13:16 967 1

原创【书生·浦语大模型实战营】第3节笔记（二）：茴香豆：搭建你的RAG 智能助理

通过茴香豆项目，任何人都可以轻松构建一个针对特定领域的问答助手，并且部署过程简便，即使是不熟悉编程的人也能轻松上手，欢迎大家尝试并给原项目点个star★。

2024-04-09 23:15:37 549

原创【书生·浦语大模型实战营】第3节笔记（一）：茴香豆：搭建你的RAG 智能助理

RAG（）技术，通过检索相关信息并结合外部知识，生成更准确、全面的答案。它解决了之前大型语言模型（LLM）在处理知识密集型任务时存在的幻觉问题、知识陈旧以及缺乏透明和可追踪推理过程等挑战。它允许进行非参数化知识更新，而不需要训练，非常适合构建知识问答助手。通过使用RAG技术的应用茴香豆，与基线模型的结果进行对比，证明了RAG的有效性。（此为教程中示意图，侵删）茴香豆（Huixiangdou）这就是茴香豆的相关介绍啦。

2024-04-09 21:44:08 1006

原创【书生·浦语大模型实战营】第2节笔记：轻松玩转书生·浦语大模型趣味 Demo

在第二次教学中，我们尝试部署了许多有趣的demo，深入了解了 InternLM2 这个大型语言模型。它在推理、综合考试、Python 编程以及对齐任务中表现出色，在多个评分基准中超越了一众祝六大模型，达到了最新研究水平。

2024-03-31 19:51:31 424

原创第1节笔记：书生·浦语大模型全链路开源开放体系

描述：一个全年度的开源体系，为广大研究者和开发者提供完整的语言模型开发、训练、调优、部署、评估到应用的全链路工具和框架。重要性：这一体系的开放将极大促进人工智能研究和应用的发展。长文本预训练数据：详细介绍了长文本数据准备工作的背景和流程，包括数据源的选择、数据处理、质量评估及代码数据增强推理能力的应用。

2024-03-31 11:53:29 883

2302_79681906的博客