- 博客(112)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 万字长文，代码详解Memory3：革命性RAG模型如何重新定义大规模语言模型
在Memory3的理论框架中,知识被定义为LLM计算图中的一个电路。计算图:节点:所有注意力层和MLP层的隐藏向量边:这些层内的所有激活函数电路:计算图中同态子图的等价类具有非可忽略边权重具有可解释的输入-输出关系知识:特定知识:输入具有可解释含义,输出基本固定抽象知识:其他情况这种定义将知识与LLM的内部计算机制直接关联,为后续的知识外化奠定了基础。
2024-07-12 14:10:42
1279
1
原创 深度学习中激活函数的演变与应用：一个综述
本文全面回顾了深度学习中激活函数的发展历程，从早期的Sigmoid和Tanh函数，到广泛应用的ReLU系列，再到近期提出的Swish、Mish和GeLU等新型激活函数。深入分析了各类激活函数的数学表达、特点优势、局限性以及在典型模型中的应用情况。通过系统的对比分析，本文探讨了激活函数的设计原则、性能评估标准以及未来可能的发展方向，为深度学习模型的优化和设计提供理论指导。
2024-07-11 17:12:37
1092
原创 深入探讨提示工程的攻击与防范：从理论到实践
提示工程攻击是一种针对大型语言模型（LLMs）的特殊攻击形式，利用精心设计的提示来操纵模型，使其产生不当、有害或不符合预期的输出。随着LLMs在各个领域的广泛应用，理解和防范这些攻击变得越来越重要。提示工程攻击可以被定义为：通过设计特定的输入序列（提示），以诱导语言模型产生违背其原始设计意图、安全准则或伦理标准的输出的行为。AP×M→OAP×M→OAAA表示攻击函数PP表示所有可能的提示的集合MM表示目标语言模型OO表示模型输出的集合攻击者的目标是找到一个p。
2024-07-11 17:10:36
798
原创 自然语言处理的新纪元
一般而言,参数量在数亿到数千亿量级的模型都可以视为大模型。得益于海量训练数据和强大的计算能力,大模型在多项NLP任务上取得了辉煌的成就,极大地推动了语言理解与生成技术的进步。然而,伴随着模型规模的飞速扩张,如何在资源有限的情况下,高效地训练并应用这些大模型,成为亟待解决的关键性难题。多模态大模型通过学习跨域对齐的信息,实现语言、视觉、语音等模态的无缝连接,为构建通用人工智能(AGI)的宏伟目标迈出关键一步。为此,学界和业界提出了一系列优化策略,力求在保证性能的同时,最大限度地提升大模型的训练和推理效率。
2024-05-18 12:35:29
714
原创 大语言模型驱动的智能对话新纪元:上下文理解与多轮对话生成技术揭秘
此外,层次化强化学习方法,如分层策略梯度(Hierarchical Policy Gradient),通过在不同的对话粒度级别上应用强化学习,提高了模型在多轮对话中的决策能力。此外,基于图的对话建模方法,如对话流图(Dialogue Flow Graph),通过构建结构化的对话表示,捕捉对话的逻辑流程,从而提高生成内容的连贯性。在微调阶段,预训练模型被应用于特定的下游任务,如对话生成、问答等,通过少量标注数据进行模型参数的调整,以适应具体任务的需求。在多轮对话中,每一轮的对话内容都依赖于之前的对话历史。
2024-05-18 09:56:38
1786
原创 从BERT到GPT-4:Transformer模型的进化之路与未来展望
Transformer模型自2017年提出以来,已成为自然语言处理领域中最为重要和广泛使用的模型架构之一。其基于自注意力机制(Self-Attention)的设计,能够有效地捕捉文本中的长距离依赖关系,并在并行计算方面具有显著优势。Transformer模型的核心思想是利用自注意力机制来计算序列中各个位置之间的依赖关系。具体而言,对于输入序列中的每个位置,Transformer模型会计算其与其他所有位置的注意力权重,然后根据这些权重对位置进行加权求和,得到该位置的表示。Attention。
2024-05-17 10:57:51
1723
原创 基于预训练语言模型的知识注入技术：方法与应用
预训练语言模型基于大规模语料进行训练，通过自监督学习获取语言的广泛知识。：使用双向Transformer编码器，通过掩码语言模型和下一句预测任务进行预训练。：基于Transformer解码器，具有1750亿参数，通过自回归方法进行文本生成。：将所有NLP任务统一为文本到文本的转换问题，通过大规模多任务学习进行预训练。
2024-05-17 09:06:10
721
原创 当一个RAG系统效果不好的时候，应该从哪些方面考虑提升效果？
提升RAG系统的性能是一个系统性的工程,需要全面考虑知识库、检索、生成、数据、人机交互等各个环节,并通过持续的迭代优化和技术更新,不断接近更好的效果。同时,也要注意权衡不同优化措施的成本和收益,选择最有针对性和可行性的改进路径。建议在优化过程中,通过合理的实验设计和评估机制,客观评估不同方案的效果,并结合实际应用场景和用户反馈,不断调整优化策略。与此同时,也要重视团队的多学科协作和经验积累,从算法、工程、产品等多个角度共同推进RAG系统的优化和提升。
2024-05-11 07:42:36
686
原创 2024年中国AI大模型产业发展报告,洞见下一个智能时代!
AI大模型作为智能时代的关键生产力,正推动各行业智能化升级,是实现高质量发展、建设现代化经济体系的重要支撑。在AI大模型赋能下,传统产业焕发新的生机,新兴产业加速崛起,为经济社会注入源源不断的创新活力。未来,AI大模型产业化的道路依然任重道远,亟需产学研用各界携手,加强顶层设计和资源统筹,打通技术创新和场景应用的链条,以高质量的大模型突破引领高质量发展,以智能化为中国式现代化建设提供强大科技支撑。让我们携手开启全新的智能时代。关注↓回复【AI发展报告】，可下载AI大模型2024发展报告。
2024-05-07 07:49:11
770
原创 知识图谱融入RAG模型:LinkedIn重塑智能客服新范式【附LeCun哈佛演讲PPT】
本研究的核心创新,在于巧妙地将知识图谱引入大语言模型,构建了一套全新的客服问答范式。它以知识图谱为中心,既保留了工单的结构和联系,又能利用LLM的语义理解和生成能力,可谓优势互补、相得益彰。与此同时,研究者在图谱构建、查询解析、子图提取等环节都采用了LLM,使得整个流程更加灵活、鲁棒,体现出领域适应性。这种全面拥抱LLM的做法堪称业界典范。LinkedIn的这项研究堪称客服智能化的里程碑。
2024-05-07 07:37:48
1317
原创 大模型引领NLP研究新范式：从统计机器学习到预训练语言模型
本文回顾了自然语言处理（NLP）研究范式的演进历程，重点探讨了以ChatGPT为代表的大语言模型（Large Language Model, LLM）的特点、影响和意义。文章分三个阶段梳理了NLP技术的发展脉络：早期的统计机器学习方法、深度学习时代以及预训练语言模型阶段。重点介绍了预训练语言模型，尤其是大语言模型带来的革新：参数规模巨大、训练数据丰富、泛化能力强、生成质量高，且支持零样本和少样本学习。大语言模型正在推动NLP研究范式发生重大变革，极大地提升了NLP系统的性能和应用空间。
2024-05-04 14:01:53
1347
原创 如何给女朋友解释什么叫热插拔
热插拔就是系统在运行时动态改变硬件配置的能力,不中断,不停机,提供连续的服务,带来更灵活、更高效、更优质的用户体验。等于是打架的时候，一开始用拳头，看到棍子了，顺手抄起来用，用着用着又看到砖头了，然后换砖头。
2024-05-04 09:30:50
224
原创 当AI成为造谣“帮凶“,我们该如何甄别真伪?
该文系统梳理了FAIGC的分类体系、生成技术以及检测方法，并对这一领域的研究现状、挑战和机遇进行了深入讨论。然而，在AI赋能内容创作的同时，我们也不得不直面由此带来的新问题——虚假人工智能生成内容（FAIGC）。当AI成为制造和传播虚假信息的帮凶，如何甄别真伪、维护内容生态成为亟待解决的难题。本文将从论文的动机、方法、实验、创新点、不足等角度，对这项研究进行详细解读和分析，以飨相关领域的研究者与从业者。让我们一起走进FAIGC的世界，领略这项前沿研究的精彩之处。
2024-05-03 12:33:38
891
原创 识蒸馏十大关键概念详解:从教师-学生范式到模型压缩和重生网络
知识蒸馏(Knowledge Distillation)任务通常会使用以下术语和表述:
2024-05-03 12:20:53
374
原创 llamaindex 中GPTVectorStoreIndex 和 VectorStoreIndex区别
选择使用哪个索引类取决于具体的应用需求和可用的计算资源。如果需要利用预训练语言模型的语义理解能力,并且有足够的计算资源,可以考虑使用。利用 GPT 模型的强大语义理解能力来生成文本的向量表示,适用于需要捕获文本语义信息的场景。则提供了更多的灵活性,允许使用不同的向量化技术来创建索引,适用于需要定制化和扩展性的场景。如果需要更多的灵活性和定制化,或者计算资源有限,可以考虑使用。都是用于创建向量存储索引的类,但它们在某些方面有所不同。
2024-05-02 12:53:06
1233
原创 白话NLP技术的演进发展
对这段文本进行分词后,得到词表: [“the”, “cat”, “sits”, “on”, “mat”, “dog”, “plays”, “with”, “ball”]同时"中国"和"首都"的向量也比较接近,因为它们在句子中的共现概率较高。基于神经网络的序列模型,如RNN、LSTM等,能够建模文本的上下文信息,从大规模语料中自动学习语言的内在规律。大语言模型(Large Language Model,LLM)的崛起,尤其是ChatGPT和LLaMA的出现,给NLP领域甚至整个AI领域带来了革命性的影响。
2024-05-02 12:50:58
2095
原创 机遇与挑战并存的Agent
随着大模型技术的突飞猛进,如GPT-4、Baichuan-3等的问世,人们对 Agent AI 智能体的未来发展普遍持乐观态度。这些先进的语言模型极大地提升了智能体的语言理解和生成能力,使其在自然语言处理任务上接近甚至超越人类水平。同时,多模态大模型的崛起,让智能体具备了多种形式的感知和交互能力,向通用智能迈进了坚实一步。智能体有潜力成为人类得力助手,提高效率,创造价值。然而,我们也必须清醒地认识到,Agent AI 的发展仍面临诸多挑战,需要科技界、产业界和社会各界共同应对。
2024-04-30 13:58:04
166
原创 K-均值聚类算法:机器学习的“小白鼠“
K-均值聚类(K-Means Clustering)。作为一种无监督学习算法,K-均值聚类可以自动将相似的数据点归为一类,而无需事先标注数据,在数据挖掘、客户细分、图像分割等领域有广泛应用。下面就让我们一起来了解K-均值算法的基本原理、优缺点以及Python实现吧。
2024-04-30 07:44:30
353
原创 对话访谈——五问RAG与搜索引擎：探索知识检索的未来
探讨了两阶段模型(如 RAG)和端到端模型在信息检索、知识问答等任务中的优劣和趋势。一种观点认为,RAG 受限于召回阶段的质量上限,不如端到端方法前景广阔。但我们辩证分析后发现,这种观点有一定道理,但也忽视了 RAG 的优势和改进空间。RAG 的优势在于:1)能够引入外部动态知识;2)可以为数值、逻辑推理提供可靠依据;3)召回技术本身还有很大改进空间;4)两阶段模型也可以端到端联合优化;5)模块化设计更具可解释性和人机协同性。
2024-04-30 07:40:19
2577
原创 融合预训练记忆的 RAG 模型在语言生成任务上取得突破
来自 Facebook AI Research、University College London 和 New York University 的 Lewis 等人的论文介绍了检索增强生成（Retrieval-Augmented Generation，RAG）模型，该模型结合了预训练的参数化和非参数化记忆，用于语言生成任务。为了解决大型预训练语言模型的局限性，如难以访问和精确操作知识，RAG 模型将预训练的序列到序列（seq2seq）模型与维基百科的密集向量索引合并，通过神经检索器访问。RAG 框架
2024-04-29 17:09:59
371
原创 干货：中国人工智能大模型技术白皮书
近日,中国人工智能学会发布了《中国人工智能大模型技术白皮书(2023版)》。白皮书全面梳理了大模型技术的发展历程、关键技术、生态发展、应用实践等方面的最新进展,并对其未来趋势做出展望。
2024-04-28 17:36:24
1272
原创 AIGC技术的发展现状和未来趋势
与此同时,AIGC也带来一些亟需正视的伦理风险。在游戏领域,基于AIGC的程序化内容生成技术能自动创建游戏地图、关卡、NPC等,为玩家带来近乎无限的游戏体验。未来,随着算法模型和算力的持续进步,AIGC有望成为数字内容产业的新引擎,推动传统行业数字化、智能化转型。AIGC模型的参数规模将持续攀升,基于超大规模预训练模型+特定领域微调的范式将成为主流,通用智能和行业智能的结合将产生聚变。同时,AIGC领域的技术迭代和产业化竞争也将日趋激烈,亟需把握用户需求和应用场景的差异化,加强商业模式和服务体系创新。
2024-04-26 08:12:57
387
原创 大模型落地困境和问题
大模型在自然语言处理领域取得了瞩目成就,展现出强大的语言理解和生成能力。但当我们将其落地到实际应用时,仍面临诸多挑战和困境。本文将从计算效率、领域适应、安全伦理、知识更新、可解释性、人机交互以及幻觉等方面,全面剖析当前大模型应用所面临的问题。
2024-04-26 07:41:51
586
原创 逝去的韶光
也许，在未来的某个时刻，当我再次回首这段逝去的韶光，会发现它们已经成为了生命中最宝贵的财富。而那些美好的回忆，也将永远留存在我的心间，成为我人生道路上最温暖的陪伴。那些已经凋谢的花朵，也曾在枝头绽放，如今却化作春泥，守护着下一代的花开。这不禁让我想起那些逝去的青春岁月，曾经的欢笑与泪水，都随着时间的流逝，化作了一缕飘渺的回忆。我试图抓住那些逝去的时光，却发现它们如同流沙，越是紧握，越是从指间溜走。或许，我们无法挽回逝去的时光，但我们可以把握现在，珍惜与家人朋友的每一刻相聚，珍惜那些美好而短暂的瞬间。
2024-04-25 07:10:49
264
原创 RAG的进化之路:从单兵作战到多智协作
它的核心思想是,首先从一个大规模的文档库中检索出与问题最相关的一些片段,然后将这些片段作为附加的知识信息,输入到一个生成式语言模型中,由语言模型根据问题和检索到的知识生成最终答案。黑洞对周围环境的影响主要体现在两个方面:一是强大的引力场会吸积周围的物质,包括恒星、气体、尘埃等,形成吸积盘,并在吸积过程中释放出大量的能量,产生耀眼的光和其他辐射;正是得益于多个领域专家模型的无缝配合、多视角答案的智能融合,以及持续的反馈优化,这个方法成功地解决了一个高度复杂的问题,生成了一个全面、准确、易懂的答案。
2024-04-25 07:05:28
964
原创 大模型自动优化 Prompt 的可行性分析
Liu 等人提出了一种基于梯度的 Prompt 优化方法，通过在连续空间中搜索最优的 Prompt Embedding 来提升下游任务性能。Shin 等人设计了一种自动化的 Prompt 工程流程，通过迭代优化和模型蒸馏来生成高质量的 Prompt。然而，大模型的性能往往依赖于设计良好的 Prompt（提示），这需要一定的人工effort和领域知识。相信通过学术界和工业界的共同努力，大模型自动优化 Prompt 的研究将不断取得新的突破，为自然语言处理领域的发展贡献新的力量。
2024-04-24 08:31:52
1130
原创 大模型很厉害，但也有搞不定的事儿
因为它确实太牛了，依托大数据、超强的算力和一流的算法，无论是处理自然语言、图像识别，还是语音识别，它都能轻松搞定。拿GPT系列来说，写出来的文字，流畅得让人咋舌，有时候你甚至分不清是人写的还是机器生成的。就像GPT-3，它的“食量”大得惊人，要几百TB的数据来“喂”它，而且还得用上成千上万的处理器，耗时数周才能训练好。比如GPT4在算算术题时给出了错误答案，你告诉它错了，它也只是“一脸懵逼”，根本不知道问题出在哪里，是数据问题还是训练方式不对，它一概不知。但话说回来，大模型也不是万能的，它也有自己的短板。
2024-04-24 08:03:30
488
原创 程序员的生活调节：如何在高压中找寻平衡
作为一位程序员，我深知在代码的海洋中航行，压力和挑战是不可避免的。但幸运的是，我找到了一些缓解压力、保持高效和创新的方法，同时还能维护个人健康和工作热情。
2024-04-23 13:52:40
228
原创 RAG开山之作：结合参数化与非参数化记忆的知识密集型NLP任务新解法
RAG模型通过结合参数化和非参数化记忆，为知识密集型NLP任务提供了一种新的解决方案。它在多个任务上的表现证明了这种方法的有效性，同时也为未来的研究提供了新的方向，特别是在如何更有效地结合参数化和非参数化记忆方面。尽管存在一些挑战，但RAG模型无疑为NLP领域带来了新的启示和可能性。
2024-04-23 07:30:47
1113
1
原创 RAG评估新增基准
传统的NLP任务如知识密集型问答和摘要等基准测试不足以捕捉用户与LLMs之间的复杂交互，因此该研究收集了来自现有真实世界用户-LLM交互数据集的挑战性查询，并将其分类为五种不同类型以进行精细分析。通过将真实用户与LLM之间的交互记录转换为具有挑战性的查询，可以更好地模拟现实世界中的应用场景，从而提高LLM的准确性和可靠性。相比于传统的基于规则或关键词分析的方法，本研究采用了更精细的特征提取方式，通过捕捉特定用户的查询特征，提高了幻觉检测的准确性。
2024-04-22 09:02:32
682
原创 RAT：融合RAG和CoT的高效多步推理任务解决方案
本文提出了一种融合RAG和CoT的高效多步推理任务解决方案——RAT，该方案能有效整合不同思维模式，提高推理效率和准确性，为解决复杂问题提供了一种新的思路，有助于提升人工智能系统的推理与问题解决能力。
2024-04-22 08:42:40
2049
原创 RAG与LLM本身知识存在冲突时，大模型如何抉择？
本研究深入分析了检索增强生成（RAG）模型的忠实度，即模型在处理与内部知识不一致的检索信息时的表现。研究发现，当检索内容正确时，RAG能显著提高模型回答的准确性。然而，当检索内容与模型内部知识冲突时，模型的行为受内部先验知识影响，对初始回答的置信度越高，越不可能偏好RAG信息。此外，研究还发现不同的提示技术对模型的RAG偏好率有显著影响，严格提示会提高RAG偏好率，宽松提示则会降低。这些发现对于理解和改进RAG系统，以及指导未来RAG系统的设计和优化具有重要意义。
2024-04-21 09:15:46
1613
原创 从预训练损失的角度，理解语言模型的涌现能力
本文从预训练损失的角度重新审视语言模型的涌现能力，挑战了以往以模型大小或训练计算量为标准的观念。通过实验，作者发现预训练损失是预测下游任务性能的关键指标，不同规模的模型在相同预训练损失下展现相似性能。这一新视角为理解语言模型涌现能力提供了理论基础，并指出了在更小规模模型上复现或超越大型模型涌现能力的可能性。
2024-04-20 08:33:41
1119
原创 人工智能代理 (ren gong zhi neng dai li) 的崛起
人工智能代理由其创造者设定目标，然后利用算法和其他功能独立地找出实现目标的方法。这些功能使他们能够理解自然语言，访问知识库并展现一定程度的自主性。目标的范围和保真度决定了代理的效用。更开放式目标需要更高级的代理。自然语言处理：代理可以理解人类语言交流的目标、指令和信息。例如，代理可以分析用英语撰写的产品支持票证，并确定所需的措施。知识访问：代理利用数据库、知识图谱和其他存储库来获取完成分配任务所需的有用数据。在回复支持票证之前，代理可能会从内部 wiki 或其他来源收集有关相关产品的详细信息。
2024-04-19 16:57:13
801
原创 语义搜索与混合查询：Blended RAG如何提升检索准确性
Blended RAG（Blended Retrieval-Augmented Generation）是一种结合了语义搜索技术如密集向量索引和稀疏编码的方法，它通过混合策略提高了RAG系统的检索效率和精确度。这种方法的提出者通过对IR（Information Retrieval）数据集如NQ和TREC-COVID数据集的研究，实现了更好的检索结果，并为IR设置了新的基准。他们还将这种混合检索器扩展到RAG系统中，在生成式问答数据集如SQUAD上取得了优越的结果，甚至超过了微调性能。
2024-04-19 11:23:18
1578
原创 大模型赋能：爬虫技术的全新革命
随着大模型技术的不断发展，内容解析的方式正在发生深刻变革。大模型加持下的提示工程方法为爬虫技术带来了前所未有的便利和效率提升。然而，我们也应该意识到，这种方法并非万能之药，它仍然需要结合具体任务进行定制化的优化和调整。未来，我们期待看到更多关于大模型在爬虫领域的应用和研究，以推动这一技术的进一步发展和完善。
2024-04-16 09:40:14
2197
原创 突破传统RAG限制！Adaptive-RAG实现高效复杂查询处理
在人工智能领域，大型语言模型（LLMs）的发展日新月异，它们在多种任务中展现出了卓越的性能。然而，尽管LLMs在处理问题时表现出色，但它们仍然受限于模型内部知识的存储和更新。为了解决这一问题，研究者们提出了检索增强型大型语言模型（Retrieval-Augmented Large Language Models, LLMs），该模型通过结合外部知识库中的非参数知识，有效提升了问题回答的准确性。但是，现有的方法在处理不同复杂度的查询时存在效率和准确性的平衡问题。
2024-04-12 09:25:00
1039
1
原创 从模型到复合AI系统的转变
即使研究传统语言模型任务的研究人员,以前只报告单个LLM调用的结果,现在也开始报告越来越复杂的推理策略的结果:微软写了一种链接策略,在医学考试中超过GPT-4的准确率9%,谷歌发布Gemini时使用新的CoT@32推理策略在MMLU基准测试中调用模型32次,这引发了与单次调用GPT-4进行比较的问题。向复合系统的转变开启了许多有趣的设计问题,但这也令人兴奋,因为这意味着领先的AI结果可以通过巧妙的工程实现,而不仅仅是训练规模的扩大。在这篇文章中,我们分析了复合AI系统的趋势及其对AI开发者的意义。
2024-02-29 20:53:35
539
原创 【概述版】悲剧先于解析：在大型语言模型的新时代，历史重演了
其次，文章认为人类评估存在一些问题，例如难以提供一致的评价标准和容易受到个人偏好的影响等，因此建议使用更具体的任务来衡量模型的表现。最后，文章提到了硬件对研究方向的影响，因此建议研究人员不仅要开发和利用新的硬件，还要预测未来可能的技术发展，并为此做好准备。论文没有提到具体的方法改进，而是着重于指出在当前的大规模语言模型时代，如何通过硬件进步和关注小规模问题来缓解数据和计算规模带来的挑战。总之，本文提出了一些有关NLP中模型训练和评估的重要建议，这些建议有助于改进当前的研究方法并推动该领域的进一步发展。
2024-01-18 19:26:44
1139
1
Wholesale customers data.csv
2022-08-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人