人工智能
文章平均质量分 92
愤怒的可乐
主要研究NLP、深度学习、大模型。添加微信:greyfoss_szu 一起交流~,添加时请备注CSND。
展开
-
人工智能数学基础之高等数学
人工智能中用到的高数知识,看这一篇就够了。原创 2019-07-15 23:18:25 · 11294 阅读 · 6 评论 -
[论文笔记]MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY
⭐ 作者提出了MemoRAG,一种通过长期记忆增强的检索增强生成新范式。它使用轻量且长上下文的LLM构建全局记忆,用于生成上下午相关的线索。用另一个表达力强的LLM,根据检索到的信息生成最终答案。原创 2024-09-12 20:36:01 · 1265 阅读 · 1 评论 -
[论文笔记]ChatQA: Surpassing GPT-4 on Conversational QA and RAG
⭐ 作者介绍了 ChatQA,一种两阶段指令微调方法,提高了 RAG 的表现。还引入了一种针对多轮对话 QA 优化的密集检索器。原创 2024-09-11 21:00:00 · 1803 阅读 · 1 评论 -
[论文笔记]RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
⭐ 作者提出了一种新的两阶段指令微调框架RankRAG,该框架对LLM进行指令微调,以实现RAG中上下文排名和答案生成的双重目的。阶段一利用SFT对高质量指令跟随数据集进行微调,阶段二对LLM进行检索增强生成和上下文排名的指令微调。原创 2024-09-10 18:33:32 · 886 阅读 · 0 评论 -
[论文笔记]QLoRA: Efficient Finetuning of Quantized LLMs
⭐ 作者提出了QLoRA,一种高效的微调方法,它在减少内存使用的同时保持16位微调任务的完整性能。这是通过:4位NormalFloat、双重量化(对量化常数进行量化)、分页优化器(GPU内存不足的情况下,自动进行CPU和GPU之间的页面传输)来管理内存峰值实现的。微调时冻结**4位量化预训练语言模型**而向低秩适配器(LoRA)反向传播梯度。原创 2024-09-07 22:44:46 · 1995 阅读 · 2 评论 -
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
⭐ 作者开发了一个两部分量化程序LLM.int8()。首先使用向量级量化,对矩阵乘法中的每个内积使用单独的归一化常数,从而对大多数特征进行量化。然而,对于突现的异常值(outlier),还包括了一种新的混合精度分解方案,将异常特征维度隔离到16位矩阵乘法中,同时仍然有99.9%以上的值在8位中进行乘法运算。原创 2024-09-07 17:48:37 · 1372 阅读 · 0 评论 -
[论文笔记]Making Large Language Models A Better Foundation For Dense Retrieval
⭐ 本工作提出了LLaRA,该方法作为对 LLM 进行后处理适应以用于密集检索应用。LLaRA 包含两个前置任务: LLM 的文本嵌入分别用于重构输入句子的词元和预测下一个句子的词元。通过这种方式旨在捕捉输入文本本身和下一句的全局语义,从而使LLM变成一个有效的密集检索器。原创 2024-09-06 08:16:53 · 1735 阅读 · 1 评论 -
[论文笔记]RAFT: Adapting Language Model to Domain Specific RAG
⭐ 本篇工作提出了一种检索增强微调方法RAFT,可以提高模型在开卷领域内问答的能力。在训练RAFT时,给定一个问题和一组检索到的文档,训练模型忽略那些在回答问题时无用的干扰文档。RAFT通过逐字引用相关文档中的正确序列来帮助回答问题,同时结合RAFT的思维链式响应,帮助提高模型的推理能力。原创 2024-09-03 08:02:39 · 712 阅读 · 0 评论 -
[论文笔记]Rethink Training of BERT Rerankers in Multi-Stage Retrieval Pipeline
⭐ 作者提出了一种局部对比估计方法用于训练重排序器,即首先通过一阶段的检索器来选择负样本,然后与正样本做对比学习,有效防止模型训崩。原创 2024-08-27 20:30:00 · 233 阅读 · 0 评论 -
[论文笔记]Improving Retrieval Augmented Language Model with Self-Reasoning
⭐ 作者提出了一种新颖的自我推理框架,其核心思想是利用LLM自身生成的推理轨迹。该框架包括三个过程来构建自我推理轨迹:关注相关性的过程、证据选择性过程、一个轨迹分析过程。基于GPT4生成了2000个高质量的训练样本,提出了一种阶段性训练过程基于这些样本训练自我推理生成模型,声称效果很好,但是训练样本和训练好的模型都没有公开出来。原创 2024-08-21 22:49:00 · 893 阅读 · 0 评论 -
[论文笔记]Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods
⭐ 作者提出了倒数排名融合(RRF)的简单方法,但是效果超过了逼他复杂得多的方法,仅是考虑每个系统中排名的倒数(计算倒数时先增加一个固定的偏移量k,防止异常值影响)。可以尝试用在粗牌之后精排之前,或者看是否能替代精排。原创 2024-08-16 19:45:00 · 1028 阅读 · 2 评论 -
[论文笔记]ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
⭐ 主要介绍了DeepSpeed框架用到的零冗余优化器(ZeRO)技术,使得训练万亿级别参数的大模型成为了可能。通过ZeRO-DP优化模型状态,通过ZeRO-R优化剩余状态。原创 2024-08-15 21:19:26 · 1221 阅读 · 0 评论 -
[论文笔记]vLLM: Efficient Memory Management for Large Language Model Serving with PagedAttention
⭐ 作者提出了PagedAttention,受到传统虚拟内存和操作系统中分页技术启发的注意力算法。并在此基础上构建了vLLMLLM服务系统。定义KV块的概念,对应操作系统中的分页,一个KV块默认包含16个K/V向量,通过动态分配的机制最多只浪费了15个向量对应的内存,实现逻辑块和物理块的分离,物理上虽然不连续但逻辑上是连续的,通过块表维护逻辑块和物理块之间的映射。同时通过引用计数和写时复制的技术来支持物理块共享,进一步提高了空间的利用率,从而提高了批处理大小,增大了吞吐量。原创 2024-08-10 14:17:31 · 1187 阅读 · 0 评论 -
[论文笔记]BM25S:Python打造超越RANK-BM25的实现
首先介绍了一种新的计算 BM25 分数的方法,速度远超RANK-BM25(BM25Okapi)。最后通过代码实战中文上的表现。原创 2024-08-08 19:16:22 · 1289 阅读 · 0 评论 -
[论文笔记]思维链提示的升级版——回退提示
⭐ 作者提出了回退提示技术,使大模型能够进行抽象,从包含具体细节的实例中推导出高层次的概念和基本原则。通过利用这些概念和原则来指导推理,LLMs显著提高了按照正确推理路径解决问题的能力。原创 2024-07-30 19:09:12 · 478 阅读 · 1 评论 -
[论文笔记]一种超越思维链的提示策略——少到多提示
⭐ 作者提出了一种超越思维链的提示策略——从最少到最多,关键思想是将复杂问题分解为一系列较简单的子问题,然后按依次解决它们。后面子问题的解决可以依赖前面解决的子问题的答案。原创 2024-07-26 19:07:29 · 974 阅读 · 1 评论 -
[论文笔记]LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming
⭐ 作者提出了基于双层结构的提示设计框架,还提供了基于LangGPT的常见场景的通用提示模板。重要的是上线了一个在线社区,其中包含很多提示案例可以来学习参考。原创 2024-07-16 19:34:03 · 962 阅读 · 0 评论 -
[论文笔记]构建基于RAG聊天机器人的要素
⭐ 作者来自英伟达的团队,介绍了他们在构建企业级RAG聊天机器人的经验。提出了FACTS这5个要注意的方面以及15个可提升性能的控制点。是一篇偏实战的工作,值得仔细研读。原创 2024-07-12 20:30:00 · 908 阅读 · 0 评论 -
[论文笔记]涨点近5%! 以内容中心的检索增强生成可扩展的级联框架:Pistis-RAG
⭐ 作者提出了一个新颖的框架,以内容为中心。该框架包括不同的阶段:匹配、预排名、排名、多路径推理和聚合。其中包含了很多工程细节,值得参考。但没有看到总体耗时相关的描述以及整体代码,可能耗时会相对较长。原创 2024-07-11 08:29:34 · 961 阅读 · 2 评论 -
[论文笔记]RAPTOR: RECURSIVE ABSTRACTIVE PROCESSING FOR TREE-ORGANIZED RETRIEVAL
⭐ 作者引入了一种新颖的方法,递归嵌入、聚类和总结文本片段,从底部开始构建具有不同摘要级别的树。在推理期间,首先将这棵树拉平,然后从拉平的树节点中检索,将跨不同抽象级别的庞大文档中的信息整合起来。原创 2024-07-10 20:54:17 · 1700 阅读 · 2 评论 -
[论文笔记]Mixture-of-Agents Enhances Large Language Model Capabilities
⭐ 作者提出了一种混合多个智能体的方法,通过多层的设计,最终层给出输出。取得了较好的效果,但成本和响应时间也增加很多。在仅需要高质量回复的场景下可以使用。原创 2024-06-25 18:29:34 · 1128 阅读 · 1 评论 -
[论文笔记]Are Large Language Models All You Need for Task-Oriented Dialogue?
⭐ 作者测试了基于LLM做领域识别、状态追踪和响应生成。但是状态追踪的效果不好,如果想用LLM做TOD需要额外加入状态追踪逻辑。原创 2024-06-17 19:11:57 · 1260 阅读 · 1 评论 -
LangGraph核心概念
介绍LangGraph核心概念。原创 2024-06-14 22:47:18 · 1151 阅读 · 0 评论 -
[论文笔记]Query Rewriting for Retrieval-Augmented Large Language Models
⭐ 作者提出了可在查询之前先应用LLM作为重写器对问题进行重写,然后再走RAG的流程。同时也提出了可以训练一个小模型来作为重写器。但博主对该小模型的泛化能力存疑。建议还是通过在提示词中给一些示例,让LLM进行重写。原创 2024-06-11 20:01:52 · 1550 阅读 · 1 评论 -
[论文笔记]AIOS: LLM Agent Operating System
⭐ 作者借鉴操作系统的知识,把LLM多智能体的协作看成是一个操作系统,包括短期的内存(记忆)管理器和长期的存储管理器、智能体调度器、访问管理器等。原创 2024-06-07 22:47:09 · 1603 阅读 · 2 评论 -
[论文笔记]KwaiAgents: Generalized Information-seeking Agent System with Large Language Models
⭐ 作者提出了KwaiAgents,由三个部分组成。(1)KAgentSys,一个自主代理循环,集成了存储库、工具库、任务规划和结束模块。(2)KAgentLMs,一套不断微调以增强代理能力的开源LLMs,可以帮助6B-13B的大模型具有较好的代理能力。(3)KAgentBench,一个评估LLMs在不同能力下对不同代理系统的响应性能的基准测试。原创 2024-06-05 20:51:37 · 1132 阅读 · 0 评论 -
[论文笔记]Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Mod
⭐ 为了解决思维链应用中的计算错误、缺失推理步骤错误和语义理解错误。作者引入了计划与解决提示策略。引导大语言模型制定一个将整个任务分解为较小子任务的计划,并根据计划执行子任务,从而达到更好的效果。原创 2024-06-05 20:45:46 · 846 阅读 · 1 评论 -
[论文笔记]Mixtral of Experts
⭐ 作者提出了Mixtral-8x7B,是一种稀疏的混合专家模型,通过门控机制来选择专家(MoE层),每个时间步只激活少量的专家,可以加快推理计算,但实际上要存储所有的参数所需的资源也是不少的。原创 2024-06-05 20:43:49 · 1057 阅读 · 0 评论 -
[论文笔记]Mistral 7B
⭐ 作者提出了Mistral模型,相比LLaMA引入一些改动:滑动窗口注意力、滚动缓存以及预填充和分块。不管是基础模型还是指令微调模型效果都比较优秀。原创 2024-06-04 00:07:40 · 1525 阅读 · 1 评论 -
[论文笔记]SELF-INSTRUCT
作者提出了SELF-INSTRUCT,一种通过利用预训练语言模型自我生成来改进模型遵循指令能力的框架。首先从语言模型中生成指令、输入和输出样本,然后过滤无效或相似的样本。最后微调原始模型。原创 2024-05-27 21:56:13 · 1559 阅读 · 2 评论 -
[论文笔记]REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS
⭐ 作者结合了推理和行动以交错方式生成推理轨迹和任务特定行动的方法,用于通用任务的解决。原创 2024-05-21 20:56:31 · 1027 阅读 · 1 评论 -
[论文笔记]Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
⭐ 思维链轮笔记:作者提出了通过生成一系列中间推理步骤的思维链,可以显著提升大型语言模型在进行复杂推理时的能力,但是仅限于100B以上的大模型。原创 2024-05-21 20:52:38 · 1301 阅读 · 1 评论 -
[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
⭐ 作者提出了LoRA,冻结了预训练模型的权重,将可训练的秩分解矩阵注入到Transformer架构的每一层中,大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并,可以不引入推理延迟。原创 2024-05-16 22:05:23 · 1261 阅读 · 1 评论 -
[论文笔记]Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Com
⭐ 作者提出了一个自适应QA框架,通过一个分类器计算查询复杂度,然后动态选择最适合的策略,提供了一种平衡的策略,能够在各种查询复杂度下无缝地在迭代和单步检索增强的LLMs之间进行适应,以及无检索方法。原创 2024-05-16 08:04:01 · 1112 阅读 · 1 评论 -
深入浅出对话系统——闲聊对话系统进阶
闲聊对话系统进阶技术。原创 2023-08-08 21:40:31 · 424 阅读 · 0 评论 -
深入浅出对话系统——大规模开放域对话模型PLATO
百度PLATO系列三篇论文解读。原创 2023-08-01 03:00:00 · 539 阅读 · 0 评论 -
深入浅出对话系统——可控文本生成
可控文本生成论文笔记原创 2023-07-29 12:26:37 · 421 阅读 · 0 评论 -
深入浅出对话系统——对话管理与对话生成
本文介绍了任务型对话系统中的对话管理与对话生成。原创 2023-07-03 22:07:35 · 1409 阅读 · 0 评论 -
深入浅出对话系统——自然语言理解模块
对话系统中的自然理解模块简介。原创 2023-06-11 13:30:40 · 1302 阅读 · 0 评论 -
《统计学习方法》——条件随机场#习题解答#
统计学习方法 条件随机场 习题解答原创 2023-06-16 07:48:24 · 379 阅读 · 0 评论