REALM: Retrieval-Augmented Language Model Pre Training 解读

最新推荐文章于 2024-03-31 22:04:03 发布
最新推荐文章于 2024-03-31 22:04:03 发布
阅读量1k 收藏
点赞数 1
文章标签： 自然语言处理 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyhbb163/article/details/105532689
版权
本文介绍了REALM，一种结合检索模块的知识增强语言模型预训练方法。REALM通过预训练任务和QA任务，训练一个独立的知识抽取器，以决定推理时使用哪些知识。模型在开放领域问答任务上表现出色，特别是在仅使用少量检索文档的情况下，优于传统方法和类似方法。预训练和额外策略的使用对提升性能至关重要。
摘要由CSDN通过智能技术生成

知识就是力量

培根

 

背景

去年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。而这篇论文针对的问题叫开放领域问答（Open-domain QA），对于一个问题Q，模型需要从包含大量文档的知识库中找到答案，而不是像SQuAD数据集一样从一篇文章中寻找。

大部分的语言模型都采用一种称为masked language model，简称MLM的任务来训练，让模型学会类似完形填空一样的能力。通过在大规模语料上的训练，预训练语言模型如BERT实际上已经隐含了一些知识。例如输入一句“The       is the currency of the United Kingdom”，BERT很有可能会填入单词"pound"。虽然他还是根据词的共现信息学习和推理的，但看上去就像具有所谓的知识一样。从去年开始就有越来越多的研究从单纯语言模型转换为带有知识嵌入的语言模型，例如清华和百度提出的两个同名模型ERNIE。

但上面说的这种隐含知识不好把握，也难以扩展。这篇论文则提出了一种更加模块化且可解释性更强的知识嵌入方法。总的来说，他的方法是训练一个独立的“语境知识抽取器”（contextual knowledge retriever&#x

最低0.47元/天 解锁文章
远皓
关注
REALM: Retrieval-Augmented Language Model Pre-Training（2020-2-10）
weixin_49346755的博客
10-13 1002
预训练语言模型能够捕捉非常多的知识，对于NLP任务特别是QA任务来说非常重要。然而，知识被隐式的存储在神经网络的参数中，需要更大的网络来覆盖更多的因素。为了以一个模块化或者可翻译的方式来捕捉知识，使用了一个延迟知识检索的预训练增强语言模型在预训练、微调以及推断期间允许模型在大的语料库中（比如Wikipedia）检索文档。首先，先展示如何以无监督方式训练一个知识检索器，使用掩码语言模型（MLM）来作为学习信号，然后通过有几百万文档的训练步骤进行后向传播。
【有啥问啥】检索增强生成Retrieval-Augmented Generation（RAG）简介
最新发布
Chauvin的博客
07-20 1014
Retrieval-Augmented Generation（RAG）是一种结合检索和生成的模型。它利用外部知识库（如维基百科、网页等）为生成任务提供支持，从而提高生成质量。RAG的核心思想是在生成过程中，动态地从外部知识库中检索相关信息，并将其融入生成过程中。本文详细介绍了Retrieval-Augmented Generation（RAG）的原理、公式及优势。作为一种结合检索和生成的模型，RAG在处理长文本、知识密集型任务方面具有显著优势。未来，RAG有望在自然语言处理领域发挥更大作用。
REALM: Retrieval-Augmented Language Model Pre-Training
Forlogenの解忧杂货铺
02-16 1500
REALM: Retrieval-Augmented Language Model Pre-Training 从ELMO、BERT和GPT到如今多种多样的预训练模型的横空出世，pre-train + fine-tune逐渐成为了NLP中建模的新范式，众多研究人员也不断的针对于Transformer和预训练做出改进，其中包括对Transformer本身结构的改进、预训练策略的调整、预训练结合多任务...
REALM: Retrieval-Augmented Language Model Pre-Training 翻译
Toyhom的博客
02-18 1571
语言模型预训练已经显示出可以捕获数量惊人的世界知识，这对于NLP任务(例如问题解答)至关重要。 但是，此知识隐式存储在神经网络的参数中，需要更大的网络才能覆盖更多的事实。 为了以更模块化和可解释的方式捕获知识，我们使用潜在的知识检索器增强了语言模型的预训练，检索器使模型可以从预训练、微调和推理期间使用的大型语料库(如Wikipedia)中检索并使用文档。首次，我们展示了如何使用蒙版语言建模作为学习信号并通过考虑数百万个文档的检索步骤进行反向传播，从而以无监督的方式对这种知识检索器进行预训练。
【ICML 2020】REALM: Retrieval-Augmented Language Model PreTraining
fengdu78的博客
02-23 928
知识就是力量培根背景去年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQu...
RAFT: Adapting Language Model to Domain Specific RAG
程序认生
03-31 922
1.如果想要对RAG任务来微调大模型，作者做的DSF以及DSF+RAG的失败实验，值得排除这种尝试。否则大家可能都想试试。不过先在领域继续预训练，学到足够多的领域知识，再用SFT微调，可能效果会更好点？（不过就是知识没办法更新了）2.到底有多少负例文档对效果最好，两个数据集表现不一。作者最终使用的是一个正例文档加上4个负例文档。不过可以肯定的是：如果训练集中只有正例文档都是效果最差的。
REALM：将检索集成到语言表征模型，搞定知识密集型任务！
tensorflowforum的博客
06-25 622
文 / Ming-Wei Chang 和 Kelvin Guu，研究员，Google Research 自然语言处理的最新进展以无监督预训练为基础，使用大量文本训练通用语言表征模型 (Language Representation Models)，无需人工标注或标签。这些预训练模型，如BERT和RoBERTa，经证明可以记忆大量世界知识，例如“the birthplace of Francesco Bartolomeo Conti”、“the developer of JDK”和“th...
Re58：读论文 REALM: Retrieval-Augmented Language Model Pre-Training
诸神缄默不语的博客
12-13 653
论文阅读笔记：REALM: Retrieval-Augmented Language Model Pre-Training
论文笔记 -《REALM: Retrieval-Augmented Language Model Pre-Training》
Lisen’s blog
03-06 3329
1、前言 2019年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。而这篇论文针对的问题叫开放...
Augmented Language Models（增强语言模型）
nakaizura
05-25 2402
LLMs取得的巨大进展不再多说，它目前被诟病最多的问题是其会提供非事实但看似可信答案，即幻觉。这些问题可能源于LLMs的一个基本缺陷：它们基于统计语言建模，即 (i)一个单一的参数模型和（ii）一个有限的上下文。但事实上，LLMs擅长于通用的语言理解与推理，而不是某个具体的知识点。
In-Context Retrieval-Augmented Language Models
c_cpp_csharp的专栏
08-30 1762
检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型（LM），可以显著提高语言建模性能。此外，它们可以缓解事实上不准确的文本生成问题，并提供自然的来源归因机制。现有的RALM方法侧重于修改LM体系结构，以促进外部信息的合并，从而使部署显著复杂化。本文考虑了一个简单的替代方案，我们称之为上下文RALM：保持LM架构不变，并为输入准备基础文档，而不需要对LM进行任何进一步的训练。我们发现，建立在现成的通用检索器上的上下文RALM在模型大小和不同的语料库中提供了惊人的大LM增益。
Augmented Language Models: a Survey翻译
nopSled
03-27 540
这篇综述回顾了通过推理技巧和使用工具对语言模型（LM）的能力进行增强的工作。前者被定义为将潜在复杂的任务分解为更简单的子任务，而后者则定义为调用外部模块，例如代码解释器。LM可以分别利用这些增强技术，或通过启发式方法结合使用，或者从演示样例中学习这样做。尽管同样遵守标准的缺失字符预测目标，但这种增强的LM可以使用各种非参数的外部模块来扩展其上下文处理能力，从而脱离了纯语言建模范式。因此，我们将它们称为增强语言模型（ALM）。缺失字符预测目标使ALM能够学习推理、使用工具甚至行动，同时仍执行标准的自然语言任务
RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models
c_cpp_csharp的专栏
08-22 202
在本文中，我们研究了检索增强的编码器-解码器语言模型的上下文学习能力。我们首先对最先进的ATLAS模型进行了全面分析，并确定了其在上下文学习中的局限性，主要是由于预训练和测试之间的不匹配，以及上下文长度的限制。为了解决这些问题，我们提出了RAVEN，这是一个结合了检索增强屏蔽语言建模和前缀语言建模的模型。我们进一步引入了上下文学习中的融合，通过使模型能够在不需要额外训练或模型修改的情况下利用更多的上下文示例来增强小样本性能。
大模型(LLM) + 上下文检索增强
人工智能曾小健
08-15 595
本次分享了一种检索增强+大模型的融合解码策略，该方法简单有效；当然也存在缺陷，就是提高了推理成本；另外检索只用了生成序列的信息，并没有利用上原始query的信息，二者融合，可能也是一个提升思路。
Retrieval-Augmented Generation for Large Language Models: A Survey
Brilliant_liu的博客
12-27 2123
大型语言模型（LLM）已成为人工智能领域的重大突破，在各种任务中表现出强大的能力。然而，LLM仍面临一些挑战，例如幻觉、知识更新缓慢和答案缺乏透明度。 幻觉是LLM生成错误或虚假信息的倾向。这可能发生在LLM没有足够的知识来回答问题时，或在LLM受到噪声或偏见的影响时。知识更新缓慢是LLM的一个缺点，因为它们需要大量数据来训练。这意味着LLM很难跟上不断变化的世界。检索增强生成（RAG）是一种新兴技术，旨在解决LLM面临的这些挑战。
INFO org.jeecg.config.shiro.ShiroRealm:95 ---------身份认证失败------------IP地址：223.104.212.26.11，10.240.221.13是什么报错，如何处理
10-09
根据您提供的信息，报错信息为"身份认证失败"，可能是由于用户名或密码错误导致的。要处理这个问题，您可以尝试以下几个步骤： 1. 检查用户名和密码是否输入正确，确保没有输入错误的字符或空格。 2. 检查数据库中存储的用户名和密码是否与输入的一致。您可以通过查询数据库或者打印日志来确认。 3. 如果使用了加密算法对密码进行加密，确保输入的密码与存储的加密密码匹配。如果加密算法有变化，可能需要更新存储的密码。 4. 检查相关配置文件（如Shiro配置文件）是否正确配置了身份认证相关的信息，包括用户名、密码字段等。 5. 如果您使用的是第三方认证服务（如LDAP、OAuth等），请确保服务配置正确，并且网络连接可用。 6. 如果以上步骤都没有解决问题，可以尝试在代码中增加日志输出来进一步了解错误原因。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值