- 博客(128)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 【阅读笔记】Graph of Thoughts: Solving Elaborate Problems with Large Language Models
作者介绍了Graph of Thought (GoT)：一个具备提高LLM提示能力，超越了思维链或思维树 (ToT) 等范式提供的能力的框架。GoT的关键思想和主要优势是能够将LLM生成的信息建模为任意图，其中信息单位（“LLM思想”）是顶点，而边对应于这些顶点之间的依赖关系。这种方法能够将任意的LLM思想组合成协同结果，提炼出整个思想网络的本质，或者使用反馈循环来增强思想。作者说明了GoT在不同的任务上提供了比现有技术更好的优势，例如比ToT提高了62%的排序质量，同时降低了大于31%成本。
2023-09-03 00:38:51
2554
原创 【Eye】Fake News Reading on Social Media: An Eye-tracking Study
在网上传播假新闻（以及一般的虚假信息）最近被认为是威胁整个社会的一个主要问题。这种传播在很大程度上是由于新的媒体形式，即社交网络和在线媒体网站。研究人员和从业者一直试图通过描述假新闻并设计自动检测它们的方法来回答这个问题。到目前为止，这些检测方法的成功程度还很有限，这主要是由于新闻内容和上下文的复杂性，以及缺乏适当的注释数据集。提高自动错误信息检测方法效率的一种可能的方法是模仿人类的检测工作。在更广泛的处理假新闻传播的意义上，了解网络用户的新闻消费行为也很重要。
2023-02-28 10:09:52
660
1
原创 【Gaze】Generating Image Descriptions via Sequential Cross-Modal Alignment Guided by Human Gaze
当说话者描述一幅图像时，他们倾向于在提到物体之前先看它们。本文通过对图像描述生成过程的计算建模，研究了这种序列跨模态对齐。作者以一个SOTA的图像字幕系统作为出发点，利用人类注视信息设计不同模型变体。本文主要是提出了第一种生成图像描述的方法，其中视觉处理是按顺序建模的。经实验和分析证实，通过利用注视驱动的注意力，可以获得更好的描述，并通过比较将注视模式与语言产生对齐的不同方式，该方法在一定程度上来阐明人类的认知过程。作者发现，依次处理凝视数据会导致描述与说话者产生的描述更一致，更多样化、更自然——特别是当凝
2022-11-24 15:01:02
323
1
原创 【Eye-tracking】DIDEC: The Dutch Image Description and Eye-tracking Corpus
本文提供了一个荷兰语口语图像描述的语料库，结合两组眼球追踪数据：free viewing，参与者没有任何特定目的地观看图像，以及description viewing，我们跟踪眼球运动，同时参与者对他们正在观看的图像进行口头描述。本文描述了数据收集过程和语料库本身，并对图像描述中的自校正进行了初步分析，并发现了两个结果。description viewing的眼球追踪数据比free viewing任务更连贯；图像描述的变化（也称为）在不同语言之间只有适度的相关性。
2022-11-21 23:45:19
361
原创 【Image Text Matching】Learning Semantic Concepts and Order for Image and Sentence Matching
图像和句子匹配近年来取得了很大的进展，但由于视觉语义差异较大，仍然具有挑战性。这主要是由于像素级图像的表示通常缺乏其匹配句子中的高级语义信息。本文提出了一种语义增强的图像和句子匹配模型，该模型可以通过学习语义概念，然后按照正确的语义顺序组织它们来改进图像的表示。给定一个图像，本文首先使用多区域多标签CNN来预测其语义概念semantic concept，包括对象、属性、动作等。然后，考虑到不同的语义概念顺序导致不同的语义意义，使用上下文门控句子生成方案进行语义顺序学习。
2022-11-16 15:01:29
1236
原创 【Image Captioning】Improve Image Captioning by Estimating the Gazing Patterns from the Caption
CNN等神经网络模型中提取的图像特征中产生类人描述方面达到了良好的性能。然而，之前没有一种明确的方法能够反映人类对图像的感知，比如凝视模式。在本文中，作者假设在image caption中的名词（即实体）及其顺序反映了人类的凝视模式和感知。为此，作者从caption中的单词中预测注视序列gaze sequence，然后训练一个指针网络pointer network来学习在新图像中给定一组object后自动生成gaze sequence。
2022-11-16 14:51:25
326
原创 【Gaze】GazBy: Gaze-Based BERT Model to Incorporate Human Attention in Neural Information Retrieval
本文感兴趣的是研究是否可以利用人类注视信号来提高最先进的搜索引擎性能，以及如何将这个以人类注意力为标志的新输入信号整合到现有的神经检索模型中。在本文中，作者提出了GazBy (
2022-08-31 13:16:26
480
原创 【Transformer】SIMPLIFIED SELF-ATTENTION FOR TRANSFORMER-BASED END-TO-END SPEECH RECOGNITION 阅读笔记
2021 IEEE由于这篇所涉及的领域我并不了解，所以仅提供instruction和method部分，experiment其实也不太详尽，就不多赘述，需要者可自行观看。总的来说，本篇paper最大的亮点是提出了使用FSMN内存块来形成Q和K向量的SSAN层，并作用于Transformer模型，在确保性能没有降低的前提下，减少了传统Transformer训练的时长。由于Transformer模型在建模长期依赖关系方面的优势，因此已被引入端到端语音识别中，在各种任务上具有最先进的性能。然而，这种改进通常是通过使
2022-08-12 17:03:56
734
原创 【Transformer】Syntax-augmented Multilingual BERT for Cross-lingual Transfer 阅读笔记
近年来，我们发现，通过使用许多语言的大型语料库来预训练多语言文本编码器来促进跨语言迁移学习。然而，由于不同语言的类型差异，跨语言迁移具有挑战性。然而，语言语法，例如语法依赖性，可以弥合类型上的差距。之前的研究表明，预先训练过的多语言编码器，如mBERT，可以捕获语言语法，帮助跨语言迁移。这项工作表明，显式地提供语言语法和使用一个辅助目标来编码通用依赖树结构来训练mBERT，有助于跨语言迁移。作者对四个NLP任务进行了严格的实验，包括文本分类、问答、命名实体识别和面向任务的语义解析。实验结果表明，语法增强的m
2022-08-12 16:59:21
585
原创 MulDA: A Multilingual Data Augmentation Framework for Low-Resource Cross-Lingual NER 阅读笔记
2021 Association for Computational Linguistics低资源语言的命名实体识别(NER)是一个既实用又具有挑战性的研究问题。本文研究了跨语言NER的zero-shot transfer问题，特别是在源语言训练数据量也有限的情况下。本文首先提出了一种简单而有效的标记序列翻译方法，将源语言训练数据翻译为目标语言，避免了词序变化和实体跨度确定等问题。利用源语言数据和翻译后的数据，引入了一种基于生成的多语言数据增强方法，通过生成多种语言的合成标记数据来进一步增加多样性。这些增强
2022-07-23 23:52:51
316
原创 Cross-lingual Transfer of Correlations between Parts of Speech and Gaze Features 阅读笔记
最近的几项研究表明，阅读过程中的眼球运动提供了关于语法和句法处理的信息，这有助于NLP模型的诱导。然而，所有这些研究都仅限于英语。这项研究表明，注视和词性(PoS)的相关性在很大程度上在英语和法语之间转移。这意味着我们可以复制之前关于法语中基于注视的PoS标记的研究，但我们也可以使用英语注视数据来帮助法国NLP模型的诱导。......
2022-07-23 23:42:47
227
原创 Dual Contrastive Learning: Text Classification via Label-Aware Data Augmentation 阅读笔记
dual contrastive learning 阅读笔记
2022-06-26 20:25:51
1058
原创 【Dataset】GoEmotions: A Dataset of Fine-Grained Emotions
GoEmotions: A Dataset of Fine-Grained EmotionsAbstract理解用语言表达的情感有广泛的应用，从建立有同情的聊天机器人到检测有害的在线行为。可以使用具有细粒度类型的大规模数据集来改进，以适应该领域的进展。本文介绍了GoEmotits数据集，这是最大的58k个英语Reddit注释的手动注释数据集，标记为27种情绪类别或中性。作者通过主保留成分分析来演示了高质量的注释，用现有的情绪基准进行了迁移学习实验，以表明本文数据集可以很好地推广到其他领域和不同的情绪分类
2022-05-25 14:49:30
1076
原创 【Knowledge Graph】C3KG: A Chinese Commonsense Conversation Knowledge Graph
C3^33KG: A Chinese Commonsense Conversation Knowledge GraphMay 22-27, 2022 Association for Computational Linguistics这篇文章所涉及到的领域不太熟悉，先记录下，以后方便看。Abstract现有的常识性知识库通常以一种孤立的方式来组织元组，这就缺乏常识性的会话模型来计划下一个步骤。为了填补这一空白，本文设计了一个大规模的多回合人写对话语料库，并创建了第一个包含社会常识知识和对话流信息的中国
2022-05-25 10:27:42
654
1
原创 《A Survey on Aspect-Based Sentiment Analysis: Tasks, Methods, and Challenges》阅读笔记
忙活了一阵子后，现在终于有空研究一下目前如火如荼的ABSA了，当然，还是先从综述出发。A Survey on Aspect-Based Sentiment Analysis: Tasks, Methods, and ChallengesAbstract基于方面的情绪分析(ABSA)作为一个重要的细粒度情绪分析问题，旨在从方面层面来分析和理解人们的观点，在近十年来一直引起了人们的极大兴趣。为了处理不同场景下的ABSA，研究人员引入了不同的任务来分析不同的情绪元素及其关系，包括方面术语、方面类别、意见术语
2022-05-17 13:46:40
2226
原创 【ACSA】Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis
Beta Distribution Guided Aspect-aware Graph for Aspect Category Sentiment Analysis with Affective Knowledge1. Abstract本文从新的角度研究了方面类别情绪分析(ACSA)任务，探索一个基于外部知识的Beta分布引导的方面感知图构造。也就是说，本文不再纠缠如何费力地搜索情绪线索的方面，而是如何基于公共知识库更好地找到单词高度情感相关的上下文方面并确定他们的重要性，以便学习方面相关的上下文情感依
2022-05-10 06:06:18
850
原创 【Chinese Coreference resolution】StanfordNLP代码实现
最近在做一个角色识别的项目，项目中需要用到共指消解的方法，大体了解的有四种：基于Spenbert（https://github.com/troublemaker-r/Chinese_Coreference_Resolution/blob/2b88450eeb3da248fb0f6365c38a32b9fffcb962/README.md）基于问答系统的Span prediction（https://github.com/ShannonAI/CorefQA）参考Emory NLP的工作，他们也是做角色
2022-04-26 21:02:07
1206
4
原创 【Speaker Recognition】A Neural-Network-Based Approach to Identifying Speakers in Novels
A Neural-Network-Based Approach to Identifying Speakers in NovelsAbstract在小说中识别说话者的目的是通过文本分析来确定谁在特定的语境中引用了一句话。这项任务对于语音合成系统来说，在制作有声读物时，为引用分配适当的声音是很重要的。然而，现有的方法坚持使用手工特征和传统的机器学习分类器，这限制了说话人识别的准确性。在本文中，我们提出了一种方法来解决这一具有挑战性的问题。我们将说话者识别定义为一个评分任务，并建立了一个基于BERT的候选评
2022-03-04 09:19:28
662
原创 【Speaker Recognition】A CHAPTER-WISE UNDERSTANDING SYSTEM FOR TEXT-TO-SPEECH IN CHINESE NOVELS
A CHAPTER-WISE UNDERSTANDING SYSTEM FOR TEXT-TO-SPEECH IN CHINESE NOVELSAbstract在基于文本转语音TTS的有声读物制作中，多角色配音和情感表达可以显著提高有声读物的自然性。然而，它需要在句子水平上手动标注带有明确的说话者和情感标签的原创小说，这是非常耗时和昂贵的。在本文中，我们提出了一种中国小说的章节理解系统，基于章节级语境自动预测说话者和情感标签。与每个组件的基线相比，我们的模型获得了更高的性能。由我们提出的系统制作的有声读
2022-03-04 09:10:29
3741
原创 【Gaze】A Survey on Using Gaze Behaviour for Natural Language Processing
A Survey on Using Gaze Behaviour for Natural Language Processing1. Abstract摘要中主要介绍本文的工作，整篇主要讨论了在NLP领域gaze behavior用来处理的不同task。gaze behavior属于认知领域，它的收集是一个很费时费钱的工作。因此本文专注于研究模型在运行时的注视行为，并且也描述了多语言任务中的不同的eye tracking语料库。最后通过讨论应用点以及gaze behavior如何能够帮助解决一些文字识别和
2022-03-02 16:53:55
730
原创 【Windows安装faiss-cpu】入坑日记
在anaconda上直接pip install faiss-cpu后，在pycharm上运行报以下错误：ImportError: DLL load failed while importing _swigfaiss: The specified module could not be found.网上有人说faiss只适用于Linux和mac，不适用于windows，但在官网上明显给出了可以用于Windows，只不过不用pip，用conda，官网链接# CPU-only version$ con
2022-01-24 10:33:47
3738
1
原创 【EL】MOLEMAN: Mention-Only Linking of Entities with a Mention Annotation Network 论文笔记
这篇可以说是在Entity Linking in 100 Languages这篇论文的基础上改进的。1. Abstract本文提出了一种基于实例的最近邻实体链接方法。与大多数表示每个实体的单一向量的先前实体检索系统不同，作者构建了一个上下文化的提及编码器，它学习将同一实体的相似提及放在向量空间中而不是mention不同实体更接近。这种方法允许所有提到的实体都作为“类原型”，因为推理涉及从训练集中完整的标记实体集合中检索，并应用最近的提及邻居的实体标签。本文模型是在来自维基百科超链接的大型多语言语料库上训
2022-01-10 15:50:53
324
1
原创 【EL】Knowledge-Rich Self-Supervised Entity Linking 论文笔记
1. Abstract实体链接面临着重大的挑战，例如大量的变化和普遍的歧义，特别是在具有无数实体的高价值领域（所以本文从医疗领域出发）。标准的分类方法存在注释瓶颈，不能有效地处理看不见的实体。zero-shot实体链接已经成为泛化到新实体的一个有希望的方向，但它仍然需要在训练中提到黄金实体和所有实体的规范描述，这两种方法都在维基百科之外很少可用。在本文中作文通过利用现成的领域知识来探索实体链接的知识环自我监督(KRISS)。在训练中，它使用领域本体在未标记文本上生成自我监督的mention示例，并使用对
2022-01-09 21:22:56
662
原创 【EL】Entity Linking in 100 Languages论文笔记
Entity Linking in 100 Languages1. Abstract本文提出了一个新的多语言实体链接公式，其中特定语言的提到解决了一个与语言无关的知识库。在这个新的设置中，作者训练了一个双编码器，基于之前的工作，改进的特征表示、负挖掘和一个辅助实体配对任务，以获得一个包含100种+语言和2000万个实体的单一实体检索模型。该模型优于一个更有限的跨语言链接任务的最先进的结果。稀有实体和低资源语言在这种大规模的评估中提出了挑战，因此作者提倡增加对zero-shot和few-shot评价的关注
2022-01-09 14:58:29
409
原创 Entity linking survey 【简要版】
明天要开始对EL近期的相关工作进行总结啦，今天先来个小预告，我能说我很佛系吗，之前的那篇survey看了一下35页，差点就把我劝退了，不愧是菜鸡本人，详细版的综述下期再发吧（一把鼻涕一把泪）。Entity linking survey 【简要版】一、EL定义实体链接是将文本中提到的实体与其知识库中相应的实体链接起来的任务（把文本中的mention链接到KG里的entity），是解决实体间存在的歧义性问题。详细来说，给定一个富含一系列实体的知识库与已经标注好mention的语料，实体链接任务的目标是将每
2022-01-09 00:38:42
595
原创 NLP任务概述
更新下一篇survey之前先来对NLP的一些任务进行总结一、词法分析分词 (Word Segmentation/Tokenization, WS)：在对文本进行处理的时候，会对文本进行一个分词的处理。新词发现 (New Words Identification, NWI)：这个好理解，因为网络上总是有新的词汇出现，比如以前的’神马’这类的网络流行词汇。形态分析 (Morphological Analysis, MA)：分析单词的形态组成，包括词干（Sterms）、词根（Roots）、词缀（Pre
2022-01-08 00:18:05
356
原创 《Curriculum-Meta Learning for Order-Robust Continual Relation Extraction》论文笔记
Curriculum-Meta Learning for Order-Robust Continual Relation Extraction这篇文章的阅读方式尝试用沐神建议的方法进行~1. Abstract连续关系提取是从非结构化文本中逐步提取新事实的一项重要任务。根据这些关系的顺序到达顺序，该任务容易面临两个严重的挑战，即灾难性遗忘和顺序敏感性。本文提出了一种新的curriculum-meta learning方法来解决连续关系提取中的上述两个挑战。作者将 meta learning and cu
2022-01-07 23:52:15
792
原创 Neural Entity Linking 方法与进展
主要基于Neural Entity Linking: A Survey of Models Based on Deep Learning论文对NEL进行了讲解
2022-01-07 00:23:41
737
原创 《Few-Shot Named Entity Recognition: A Comprehensive Study》论文笔记
Few-Shot Named Entity Recognition: A Comprehensive Study最近发现读论文get idea有点困难，不如参考大佬的笔记来做做总结，今天主要总结一下few-shot NER，这是一篇few-shot NER的综述《Few-Shot Named Entity Recognition: A Comprehensive Study》1. MotivationNER一种经典的方法是在PLM提供的表示之上添加一个线性分类器，并在域标签上使用交叉熵目标来微调整个模
2022-01-06 09:34:07
2577
原创 【动手学深度学习】线性回归 + 基础优化算法
1. 线性回归2. 基础优化算法3. 线性回归的从零开始实现import randomimport torchfrom d2l import torch as d2l# 构造人造数据集def synthetic_data(w,b,num_examples): """生成 y=Xw+b+噪声""" X=torch.normal(0,1,(num_examples,len(w))) y=torch.matmul(X,w)+b y+=torch.normal(0,0
2022-01-05 22:50:11
686
原创 prompt 代码示例
1. 定义任务from openprompt.data_utils import InputExampleclasses=[ 'negative', 'positive']dataset=[ InputExample( guid = 0, text_a = "Albert Einstein was one of the greatest intellects of his time.", ), InputExample(
2022-01-05 22:32:19
1660
原创 【BERT】从零解读笔记
一、BERT 整体模型架构BERT的encoder部分，主要分成了三个内容：输入部分、多头注意力机制、前馈神经网络。1. 为什么说是基础架构呢？因为BERT使用的是多个encode堆叠在一起，其中BERT-base使用的是12层encoder，BERT-large使用的是24层的encoder。注意：有一点十分容易混淆，是12层encoder，而不是12层transformer。transformer在文章中应该是6个encoder堆叠在一起形成编码端，6个decoder堆叠在一起形成解码端。2
2022-01-04 21:07:44
2224
原创 【如何找IDEA】之打补丁法
打补丁法【打在脸上，效果最佳】——以MAE为例一、基于原文章的补丁想自己的点以下是MAE的故事大纲：基于ViT+BERT遮住更多的图片块编码时只处理没遮住的用Transformer来输出（解码）（有从ViT+BERT到MAE的分析，再从MAE加上前面整个来看）ViT最后一小段有说，作者怎样把这个东西弄到BERT上去，但效果不如直接在标号上训练的效果好基于此，MAE做了2个改进：1.做掩码的时候遮住更多的图片块，这样子能够尽量使得图片之间没有那么冗余，使得任务更具挑战性。
2022-01-03 14:37:15
777
原创 如何读论文
该篇文章主要是记录沐神对于如何读论文的笔记，附上B站链接一、paper的架构首先是一篇论文的结构，大致如下：1.Title2.Abstract3.Introduction4.Method5.Experiments6.Conclusion二、读论文的顺序第一遍：标题、摘要、结论。可以跳到实验部分看一些比较重要的图和表，或者是瞄一眼在方法里面的图和表，看看文章主要是在干什么。通过这一遍花十几分钟的时间大概了解这篇文章讲什么，质量怎么样，是否适合自己的研究方向，以此决定是否继续读下去。第二
2022-01-02 17:55:56
1299
原创 《Improving Cross-lingual Text Classification with Zero-shot Instance-Weighting》论文笔记
1. Motivation跨语言文本分类(CLTC)是一项具有挑战性的任务，由于缺乏低资源语言中的标记数据，因此变得更加困难。在文中，作者提出了零目标实例加权，一个通用的模型无关的零目标学习框架，通过利用源实例加权来改进CLTC。它在预先训练过的语言模型上添加了一个模块，用于实例权重的相似性计算，从而将每个源实例与目标语言对齐。在训练过程中，该框架利用由实例权重加权的梯度下降来更新参数。2. Contribution引入了零目标实例加权，这是一个简单但有效的、可扩展的框架，以支持零目标CLTC的实例
2021-12-23 16:47:50
610
原创 Improving the Faithfulness of Attention-based Explanations with Task-specifific Information for TC
Improving the Faithfulness of Attention-based Explanations with Task-specifific Information for Text Classifification1. 必备知识模型的可解释性：对神经网络的解释可以通过识别输入的哪些部分对给定的预测很重要来获得。一种方法是使用更容易解释的稀疏线性元模型。另一种方法是计算保留和省略输入标记之间的模型预测差异。2. Motivation在自然语言处理中，神经网络架构经常使用注意机制来在
2021-12-23 00:06:05
715
可以model.to(device)的环境，python为3.8.5，具体可以看blink
2022-03-17
A Sensitivity Analysis of Convolutional 原文及译文
2021-11-26
《Convolutional neural networks for sentence classification》原文及翻译
2021-11-24
A convolutional neural network for modelling sentences论文及翻译
2021-11-24
Reasoning With NTN for Knowledge Base Completion.zip
2021-11-23
A Cognition Based Attention Model for Sentiment Analysis.zip
2021-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人