2301_76739570的博客

AWQ原理介绍，大模型量化，怎样在更小的模型下，保留最好的效果

phi-3 3.8B模型媲美chatgpt、手机可以部署、但是仍然有弱点需要提升改进。

本文设计了一个新颖的框架，用于利用大型语言模型进行文本丰富的序列推荐（LLM-TRSR）。该方法主要包括以下步骤：首先，将用户的历史行为序列提取并转换为一段长文本，然后将该长文本分割成几个区块，确保每个区块都能被大型语言模型完全处理。接着，提出基于 LLM 的摘要器来全面考虑这些区块，以得出用户偏好的摘要。同理看图：既然可以使用cnn、rnn接口来提取用户历史，后续能否用模拟attention的方法来提取用户历史特征？

大模型评测，OpenCompass，司南，大模型榜单，评测

北京时间4月19号凌晨，Meta 发布了Llama3。下面，让我们根据官方报告，深入了解这一AI领域的重要更新。

AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言模型能力的智能体。：根据输入的任务，智能体自动选择一个合适的工具来执行该任务。：根据memory的输入，和上一步执行的结果，进行下一步任务的创建。

上海人工智能实验室，大模型配套体系，模型训练工具xtuner

前向推理需要的计算量公式Cforward​2∗N2∗nlayer​∗nctx​∗dattn​– N是参数量，nlayer​nctx​dattn​分别代表层数，上下文长度，注意力维度kv cache显存占用公式Mkvcache​4∗b∗nlayer​∗dattn​∗sn–bnlayer​dattn​。

包括朴素RAG（Naive RAG）、进阶RAG（Advanced RAG）和模块化RAG（Modular RAG）。朴素RAG：这是RAG最早的方法论，主要包含索引（indexing）、检索（retrieval）和生成（generation）三个步骤。它通过将文档分割成小块，编码为向量，并存储在向量数据库中，以便在接收到用户查询时进行高效的相似性搜索。进阶RAG：为了克服朴素RAG的局限性，进阶RAG引入了特定的改进措施，包括预检索和后检索策略。

由书生·浦语角色扮演小组长【那路】为大家带来【轻松玩转书生·浦语大模型趣味 Demo】课程~玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo。