论文阅读笔记
文章平均质量分 94
对论文进行阅读和分析
CS_木成河
因为热爱,所以坚持~
展开
-
【论文阅读】Late Chunking:Contextual Chunk Embeddings Using Long-Context Embedding Models
许多应用场景需要检索较小的文本片段,而基于密集向量的检索系统在处理较短文本片段时通常表现更好,因为语义在嵌入中不容易被 “过度压缩” 。因此,开发者通常会将文本文档分割成更小的块,并分别进行编码。然而,这种方式创建的块嵌入可能会丢失周围块的上下文信息,从而导致表示效果不理想。在本文中,作者提出了一种称为 “late分块” 的新方法,该方法利用长上下文嵌入模型首先嵌入长文本的所有token,然后在 Transformer 模型之后、均值池化之前进行分块。这样得到的块嵌入能够捕捉完整的上下文信息,从而在各种检原创 2024-09-10 20:09:51 · 596 阅读 · 1 评论 -
【论文阅读】ModelScope-Agent:基于开源大语言模型的可定制Agent系统
大语言模型(LLMs)最近展示出了卓越的能力,能够理解人类意图、进行推理和设计类似规划的行为。为了进一步释放 LLM 在完成复杂任务方面的潜力,越来越多的趋势是构建 agent 框架,使LLM(如ChatGPT)具备使用工具的能力,以连接大量的外部 API。在这项工作中,作者介绍了 ModelScope-Agent,一个基于开源 LLM 作为控制器,面向实际应用的通用且可定制的 agent 框架。原创 2024-09-09 15:36:44 · 1610 阅读 · 1 评论 -
【论文阅读】Co-attention network with label embedding for text classification
大多数现有的文本分类方法都集中在提取高度区分的文本表示上,然而,这通常在计算上效率低下。为了缓解这个问题,提出了标签嵌入框架采用标签到文本的注意力,直接使用标签信息来构建文本表示,以实现更有效的文本分类. 尽管这些标签嵌入方法已经取得了可喜的成果,但对于如何更有效地使用标签信息仍有很大的探索空间。原创 2022-09-22 19:46:54 · 839 阅读 · 3 评论 -
【论文阅读】Graph Fusion Network for Text Classification
文本分类是自然语言处理中一个重要的经典问题。近年来,图神经网络(GNN)在文本分类中得到了广泛的应用,并取得了优异的性能。尽管GNN在文本分类方面取得了成功,但现有的方法仍然在两个主要方面受到限制。一方面,传导性方法不能轻易适应新文档。由于transtructive方法将所有文档合并到文本图中,因此当新文档出现时,需要重新构建整个图并从头开始重新培训系统。然而,这不适用于现实情况。另一方面,许多最先进的算法忽略了文本图的质量,这可能导致性能次优。原创 2022-09-21 11:05:36 · 785 阅读 · 2 评论 -
【论文阅读】Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification
这个模型没有利用任何来自词汇资源或NLP系统的特性,它可以自动关注对分类有决定性影响的单词,捕获句子中最重要的语义信息,而无需使用额外的知识和NLP系统。:Zhang等人(2015年)利用NLP工具和词汇资源以及双向LSTM网络的许多特征来学习句子级特征,他们在SemEval-2010 Task 8数据集上取得了最先进的性能。我们使用相同的词向量的模型得到了非常相似的结果(84.0%),而且本文的模型更简单。的当前状态,用于决定是否接受输入,忘记以前存储的内存,并输出以后生成的状态。原创 2022-09-20 20:58:54 · 979 阅读 · 4 评论 -
【论文阅读】Word Sense Disambiguation Model based on Bi-LSTM
词义消歧是自然语言处理中一项非常重要的工作,也是该领域的一项基础性工作。汉语词汇中有很多多义词。使用词义消歧模型可以根据多义词的上下文确定多义词在不同上下文中的正确含义,从而消除汉语中多义词造成的歧义。论文提出了一种基于Bi-LSTM(双向长短记忆)的神经序列学习模型来实现词义消歧。将句子原创 2022-05-27 11:23:29 · 802 阅读 · 2 评论