- 博客(13)
- 收藏
- 关注
RSS订阅原创 探索RAG（四）--ARG with Chroma（四）
本质上Embedding Adaptors与 embeddings-based retrieval的差别是Embedding Adaptors增添了一层 embedding adaptors。这是一个非常简单的神经网络模型，目的是在判断用户给的问题与文内是否具有相关性，有利于更好地反馈给用户。在前文介绍了诸多种方法后，在本节我们将去了解Embedding Adaptors这一方法的使用。和之前的方法不同的是，Embedding Adaptors需要进行训练。
2024-05-31 09:32:02
445
原创 探索RAG（四）--ARG with Chroma（三）
那么为什么这样效果会变好？这个和embeddings-based retrieval看起来很相似，只不过在Cross-encoder re-ranking中多增添了一道重新检索的过程，这样相比，embeddings-based retrieval似乎更为快速。在上节中使用到的两种方法都是在原查询的基础上，利用LLM对其进行内容上的扩充，有利于检索相关性文档，本节在此基础上，阐述Cross-encoder re-ranking（交叉编码器重新排序）对于检索内容结果的正面影响。
2024-05-29 15:48:26
645
原创 探索RAG（四）--ARG with Chroma（二）
在本节中，阐述了使用Query Expansion 和 Expansion with multiple queries两种方法，并依据实际例子证实了这两种方式的可行性，针对于上面的两种方案，在实际中应按照具体任务去实行。下节内容将介绍交叉编码以及重新排序。
2024-05-29 10:47:13
942
原创 探索RAG（四）--ARG with Chroma（一）
在（二）中我们提到RAG的三种方式：native RAG，advanced RAG, modular RAG，仔细对比将发现，其实这三种方法最终只有一个目的：增强检索的内容，提升检索文档与查询的相关性。如同native RAG方式一样，系统先用大量的相关文本组成矢量数据库，查询通过嵌入embedding后与矢量数据库进行相似度计算（余弦距离），找到最近的几个文档（top-n，n依据事实确定），最后将前n个最近文档与原查询组合在一起送到LLMs，让LLMs给出回答。将矢量加载入Chroma中。
2024-05-28 20:15:36
792
原创 探索RAG（三）--RAG vs Fine-tuning
由于大模型的日益普及，大模型的增加引起了相当大的关注。在LLM的优化方法中，RAG经常与微调（FT）和提示词工程（Prompt）相比较，RAG，Fine-tuning以及提示词工程都是用于加强模型在特定领域的性能。值得一提的是，RAG和FT并不是相互排斥的，可以相互补充，在不同的层面上增强模型的能力。在本节中，比较了RAG，FT，Prompt三种方式对LLMs的调教，各自有优缺点，将RAG与FT相结合可能是未来的主要方向。如图所示，每种方法都有不同的特征，我将从下面的表格具体比较这三种方式。
2024-05-28 10:49:32
551
原创 探索RAG（二）
本节从大模型层面阐述RAG出现的意义，并在此基础上探讨RAG的三种形式：native RAG，advanced RAG, modular RAG。下节将探讨RAG与微调的区别。
2024-05-28 10:23:55
762
原创 探索RAG（一）
在建立的 RAG 模型中，参数记忆是预先训练的 seq2seq转换器，非参数记忆是维基百科的密集向量索引，通过预先训练的神经检索器访问。在本篇论文中，Patrick Lewis等人介绍了RAG模型，其中参数记忆是预先训练的seq2seq模型，非参数记忆是维基百科的密集向量索引，通过预先训练的神经检索器访问。Patrick Lewis在广泛的知识密集型NLP任务上对模型进行了微调和评估，并在三个开放领域的QA任务上设置了最先进的水平，性能优于参数seq2seq模型和特定于任务的检索和提取架构。
2024-05-27 15:43:56
890
原创 关于国内外语法纠错的研究（四）-性能提升（二）
自定义推理方法（Costom Inference Methods），目前来看，各种推理技术已被提出来提高系统输出的质量或加快推理时间在GEC。其中最常见的是应用多轮推理，称为迭代解码或多轮解码。应用多轮推理能够提高输出质量。这是由于GEC的输入和输出使用相同的语言，因此模型的输出可以再次通过模型以产生输出的第二次迭代，达到二次纠正的效果。简单来说，多轮推理可以理解为输入–纠错–再次纠错：这样做的好处是，模型有第二次机会纠正它在第一次迭代中可能错过的错误。
2024-05-27 09:55:22
1354
原创 关于国内外语法纠错的研究（四）-性能提升（一）
系统产生的最有可能的候选句（即 n = 1），而是位于最有可能的 n 个候选句中的某个地方。作为单独的后处理，基于 SMT 或 NMT 的 GEC 系统产生的候选词可以使用丰富的特征集进行重排序、这样就能选出更好的候选结果作为 "最佳 "修正。此外，大多数用于 GEC 的系统组合方法都是在黑箱设置下工作的，只需要系统的输出，而无需访问系统的内部结构和预测概率。Susanto、Phandi 和 Ng 的研究表明，将不同的 GEC 系统组合在一起，可以产生一个更好的系统，具有更高的准确性。
2024-05-25 16:48:22
916
原创 关于国内外语法纠错的研究（三）-方法篇（一）
在上文提到目前国际上比较著名的几个数据集，在本文将讨论目前在GEC 领域存在的几种方法，包括分类器（统计和神经）、机器翻译（统计和神经）、基于编辑的方法和语言模型，本文将高度总结分类器方法和机器翻译，并介绍在用此两类方法构建GEC系统的重要模型。本篇介绍了两种语法纠错方法，阐述了其发展历史以及方法本身的优势和缺点，下篇将讲述另外两种方法基于编辑的方法和语言模型。
2024-05-23 18:56:47
799
原创 关于国内外语法纠错的研究（二）-数据集
Arabic（阿拉伯语）的QALB-2014，QALB-2015；Czech(捷克语）的AKCES-GEC，GECCC；German（德语）的Falko-MERLIN；Japanese（日语）的TEC-JL；Russian（俄语）的RULEC-GEC；Ukrainian(乌克兰语)的UA-GEC下篇文章将介绍用于语法介绍的核心方法。
2024-05-23 10:32:02
1236
原创 关于国内外语法纠错的研究（一）
写作是一项需要学习的技能，对于非母语用户来说尤其具有挑战性。在我们的母语中，我们偶尔都会犯标点、拼写错误，以及选词上的小错误，所以非母语作家常常很难创作出符合语法且易于理解的文本。自然语言处理 (NLP) 领域的研究至少从 20 世纪 80 年代起就已经解决了“格式错误的输入”问题，因为除非输入符合语法，否则文本的下游解析通常会崩溃（Kwasny 和 Sondheimer 1981；Jensen 等人 1983）。
2024-05-22 18:39:19
1160
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人