论文解读
文章平均质量分 87
主要分享论文阅读讲解,涉及到国内外顶级会议或期刊,包括但不限于NIPS、ACL、EMNLP、KDD、ICML、ICLR、CVPR、SIGIR、WWW、AAAI、IJCAI、CIKM、ICDM、ECCV、EAACL、COLING、IJCNN、KR、ICDE等。
华师数据学院·王嘉宁
研究方向:深度学习、自然语言处理、知识图谱。
研究兴趣:大语言模型训练与推理、知识增强预训练、Prompt-tuning、小样本学习、问答系统、信息抽取。
展开
-
大模型ReAct:思考与工具协同完成复杂任务推理
人类的认知通常具备一定的自我调节(self-regulation)和策略制定(strategization)的能力,对于解决一个复杂问题时,可以很自然地运用工作记忆(working memory)将任务相关的决策动作(actions)与思考推理(reasoning)相结合。虽然现如今诸如Chain-of-Thought(CoT)通过上下文提示的形式可以提高大语言模型step-by-step的推理能力,但是其依然属于静态的黑盒子,依靠其推理的结果。回顾一下Act-only的定义(类似强化学习中的过程),第。原创 2024-06-25 15:16:45 · 1220 阅读 · 0 评论 -
PAL: Program-aided Language Models
相比于Chain-of-thought,每一个exemplar中包含一个推理路径,这个推理路径时融合了自然语言和python代码。作者通过启发式更改数字的方式构建了一个新的数据集,并基于这个数据发现50%的情况下大模型虽然给出正确的推理思路但是由于交大的数字计算存在错误导致最终预测错误。对于评测数据集中,如果现有的工作如果已经提供了exemplar,则直接使用,否则则随机采样3~6个标注样本作为exemplar。针对数学运算、符号推理、算法运算三种类型的任务分别设计了带有编程语言和自然语言的prompt。原创 2024-06-23 22:08:19 · 908 阅读 · 0 评论 -
Program-of-Thoughts(PoT):结合Python工具和CoT提升大语言模型数学推理能力
发现,大模型可能会在生成代码的时候同时写一些推理思考的文本,为了较好地区分,这里对于非编程代码的部分全部添加一个“#”,作为注释。随着大模型的发展,以Chain-of-Thought的提示学习方法可以有效地提升算术推理的性能。对于一些特殊的推理场景,有必要结合CoT完成多步骤:PoT可以先为一个Question生成一个中间推理和计算的结果,基于中间结果再继续使用CoT完成剩余的推理工作。例如时间计算的场景下,可以先用PoT完成时间的计算,最后借助CoT将时间转换为目标格式。同期工作的对比(PoT与PAL)原创 2024-06-23 22:05:09 · 1314 阅读 · 0 评论 -
越复杂的CoT越有效吗?Complexity-Based Prompting for Multi-step Reasoning
那么如何定义推理路径的复杂性?本文在输入提示上对每一个推理步骤用“\n”进行分割,即。原创 2024-06-23 22:01:55 · 1123 阅读 · 0 评论 -
ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
虽然现如今大模型展现出无与伦比的表现,但是其在工具理解和使用方面依然存在不足,即根据用户的指令和意图来使用外部API。这是因为现有的指令微调任务大多数是基于语言任务,而忽略了工具的调用指令。因此,本文希望为开源的大模型探索一个可以使用工具的模型,并提出TooLLM。原创 2024-06-23 21:51:45 · 827 阅读 · 0 评论 -
论文解读:Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models
生成的内容与输入存在冲突:Input-conflicting hallucination, where LLMs generate content that deviates from the source input provided by users;原创 2023-09-19 11:40:08 · 1739 阅读 · 0 评论 -
论文解读:Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentati
开放域问答中,给定一个问题qqq以及一个文档库Ddii1mDdii1m,目标是给定一个回答aaa。先前的方法是通过一个retriever检索文档库,并获得与问题相关的文档,随后使用机器阅读理解的方式回答问题。afLLMpqafLLMpq,其中ppp表示prompt。如果使用检索增强的方式,则为afLLMpqLafLLMpqL,其中LL表示检索得到的support document。原创 2023-07-29 23:18:20 · 704 阅读 · 2 评论 -
论文解读:Contrastive Learning Reduces Hallucination in Conversations
给定一个问题或上下文xxx,一个对应检索的知识KK,目标是根据上下文和知识来生成回复yyy。KB模式:根据对话上下文检索知识库,获得检索到的文档后结合上下文生成回复;LM模式:现如今的语言模型范式,即让语言模型先在知识库上预训练,然后再直接回答;本文则关注LM模式(1)Pre-training:采用BART作为语言模型:(2)SFT(Fine-tuning):采用MLE目标在对话数据集上进行自回归式训练:然而MLE损失鼓励模型盲目模仿训练数据并导致模型幻觉。原创 2023-07-29 23:16:42 · 659 阅读 · 0 评论 -
论文解读:PRINCE: Prefix-Masked Decoding for Knowledge Enhanced Sequence-to-Sequence Pre-Training
简单来说,就是当模型在decoding阶段时,当预测第t个位置的token时,对t-1以及之前的某些token替换为mask,相当于模型在含有mask的prefix text来进行预测。预训练预料为Wikipedia,且饱含aligned的实体。在decoding阶段,如果在预测实体时,预测当前的token时,不再是输入真实的预测token,而是mask。当解码器预测实体标记时,噪声被注入,并且先前生成的部分实体标记对于后者是看不到的。,这可以激励模型更好地学习仅依赖于上下文来预测实体。原创 2023-07-29 23:14:22 · 216 阅读 · 0 评论 -
论文解读:Factuality Enhanced Language Models for Open-Ended Text Generation
而往往为了降低GPU显存,通常采用chunk机制,导致很多文档被分割化,这些被分割后的文档可能只有一些代词,这会导致信息“碎片化”,并导致出现在具有相似上下文的独立文档中的实体的错误关联。模型的生成是逐个字符生成的,因此如果模型在没有任何prefix的前提下生成文本时,生成的最开始阶段的一些词是不会存在幻觉的,而随着不断地生成过程中,后面生成的词会促使整个文本产生幻觉。目前一个很大的挑战是如何评估模型的事实性,尤其是开放文本生成领域内,其需要涉及到定位真实知识在无数个世界知识内的位置。原创 2023-07-29 23:09:10 · 1897 阅读 · 0 评论 -
HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models
尽管现在大模型拥有前所未有的能力,其依然会生成出一些幻觉文本,即生成出存在冲突或无法通过已有知识来验证的内容。本文探索:what types of content and to which extent LLMs tend to hallucinate?本文提出HalEval Benchmark,包括35000个幻觉/正常的样本,用于分析和评估大模型。其包含5000个通用的用户对话查询问题以及30000个任务相关的问题(包括QA、知识对话和文本摘要)。原创 2023-07-20 11:22:48 · 793 阅读 · 0 评论 -
论文解读:PromptBERT: Improving BERT Sentence Embeddings with Prompts
介绍promptbert用于解决预训练语言模型对句子表征存在的各项异性问题。原创 2022-06-29 20:36:55 · 2641 阅读 · 0 评论 -
论文解读:Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Proje
小样本实体识别(Few-shot NER)旨在给定目标domain非常少的标注数据(例如符合 N-way K-shot 规则的support set)的前提下,能够识别出文本中指定类型的所有实体。而通常实体识别是视为一种序列标注(sequence labeling)任务。目前与实体识别相似的任务还有槽位填充(Slot Tagging)。本文介绍ACL2020的一篇工作试图解决基于Few-shot的序列标注问题。...原创 2022-06-29 19:52:06 · 1262 阅读 · 0 评论 -
论文解读:Example-Based Named Entity Recognition
Example-based NER指给定support set少量的样本,对应的所有entity type只有很少的实体。给定一个query时,模型会分别根据support set中的entity type寻找query对应的实体。原创 2022-06-28 16:34:43 · 872 阅读 · 0 评论 -
【小样本实体识别】Few-NERD——基于N-way K-shot的实体识别数据集和方法介绍
介绍Few-NERD数据集,以及基于N-way K-shot的实体识别任务定义。对核心代码进行展示,并介绍目前的研究进展和baseline对比实验。原创 2022-06-28 15:42:38 · 3319 阅读 · 0 评论 -
【预训练语言模型】WKLM: Pretrained Encyclopedia: Weakly Supervised Knowledge-Pretrained Language Model
知识增强的预训练语言模型旨在借助外部知识库的结构化知识,在对语言模型进行预训练的时候显式地让模型学习到结构事实知识。本文分享一篇来自ICLR 2020的知识增强预训练的工作。原创 2022-06-26 15:40:38 · 1118 阅读 · 0 评论 -
论文解读:SpellBERT:A Lightweight Pretrained Model for Chinese Spelling Checking
论文解读:SpellBERT:A Lightweight Pretrained Model for Chinese Spelling Checking简要信息:序号属性值1模型名称SpellBERT2发表位置EMNLP20213所属领域自然语言处理、中文拼写纠错4研究内容中文拼写纠错5核心内容预训练语言模型6GitHub源码7论文PDFhttps://dl.acm.org/doi/10.1145/3404835.346原创 2022-02-07 11:02:49 · 1717 阅读 · 0 评论 -
论文解读:Dynamic Connected Networks for Chinese Spelling Check
论文解读:Dynamic Connected Networks for Chinese Spelling Check 我们知道,拼写纠错任务比较类似预训练语言模型中的**Masked Language Modeling(MLM)**任务。但是MLM有一个缺陷是每个token的预测是独立的,而在纠错任务中,存在错误的字符往往在纠正时需要考虑前后字符的依赖关系。基于此动机,本文提出一种动态连接网络以构建模型输出部分相邻字符之间的相关性。简要信息:序号属性值1模型名称DCN原创 2022-02-06 11:36:35 · 1352 阅读 · 0 评论 -
论文解读:DCSpell:A Detector-Corrector Framework for Chinese Spelling Error Correction
介绍在SIGIR2021发表的一篇中文拼写纠错文章——DCSpell。原创 2022-02-06 11:13:13 · 1260 阅读 · 0 评论 -
【预训练语言模型】CoLAKE: Contextualized Language and Knowledge Embedding(ICCL2020)
【预训练语言模型】CoLAKE: Contextualized Language and Knowledge Embedding(ICCL2020)核心要点:将文本与知识库统一为WK Graph格式,即将文本视为全连接图word graph,将文本中的entity mention检索的子图作为knowledge sub-graph,entity mention作为anchor node结合为WK Graph使用预训练的knowledge embedding作为初始化,并与word emedding结原创 2021-12-31 16:33:25 · 1573 阅读 · 0 评论 -
【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion
【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion核心要点:知识图谱是不全的,先前的补全方法只是考虑稀疏的结构信息,忽略了上下文的文本信息;将实体、关系和三元组是为序列,并将知识图谱补全的任务视作序列分类任务;简要信息:序号属性值1模型名称MT-DNN2发表位置ACL 20193所属领域自然语言处理、预训练语言模型4研究内容预训练语言模型、多任务学习5核心内容Multi-t原创 2021-12-31 16:14:48 · 6423 阅读 · 1 评论 -
【预训练语言模型】KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation
【预训练语言模型】KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation核心要点:不引入任何参数实现知识融合;结合知识表示学习和MLM两个loss进行训练;构建新的benchmark:wikidata5M简要信息:序号属性值1模型名称KEPLER2发表位置ACL 20193所属领域自然语言处理、预训练语言模型4研究内容原创 2021-12-31 16:03:51 · 1972 阅读 · 4 评论 -
【预训练语言模型】K-BERT: Enabling Language Representation with Knowledge Graph
【预训练语言模型】K-BERT: Enabling Language Representation with Knowledge Graph核心要点:融合KG到BERT,并非是embedding融合,而是将KG和原始文本结合形成sentence-tree;根据sentence tree提出soft-position和visible matrix以避免knowledge noise;K-BERT在中文领域上先预训练(不加KG),然后在fine-tuning(加KG)简要信息:序号属性原创 2021-12-31 15:41:25 · 1178 阅读 · 3 评论 -
论文解读:Finetuned Language Models Are Zero-shot Learners
论文解读:Finetuned Language Models Are Zero-shot Learners简要信息:序号属性值1模型名称Instruction-tuning2发表位置20213所属领域自然语言处理、预训练语言模型4研究内容预训练语言模型、多任务学习5核心内容instruction, prompt6GitHub源码https://github.com/google-research/flan7论文PDFh原创 2021-12-31 15:17:05 · 3438 阅读 · 0 评论 -
论文解读:NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task——Next Sentence
论文解读:NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task——Next Sentence Prediction 先前的一些基于Prompt的方法都是建立在Masked Language Modeling(MLM)任务上,即将下游任务转换为完形填空型任务。本文则换一种角度,将Prompt用在了被大多数语言模型摒弃掉的Next Sentence Prediction(NSP)上。简要信息:原创 2021-12-31 14:58:01 · 2588 阅读 · 0 评论 -
【预训练语言模型】MT-DNN: Multi-Task Deep Neural Networks for Natural Language Understanding
【预训练语言模型】MT-DNN: Multi-Task Deep Neural Networks for Natural Language Understanding 预训练语言模型在下游任务微调时如果可以获得更丰富的训练任务,则提高让预训练语言模型的泛化能力,本文则通过添加多任务训练实现泛化性能的提升。核心要点包括:将NLP划分为四种类型的任务;在BERT预训练的基础上,添加若干多任务的参数,并采用多任务训练简要信息:序号属性值1模型名称MT-DNN2发表原创 2021-12-19 13:52:40 · 1065 阅读 · 0 评论 -
【预训练语言模型】ERNIE2.0: A Continual Pre-Training Framework for Language Understanding
ERNIE2.0主打知识增强的预训练语言模型,通过增加预训练任务并实验Continual Multi Task Learning让模型更加鲁棒。原创 2021-12-19 13:27:56 · 1703 阅读 · 0 评论 -
【预训练语言模型】ERNIE1.0: Enhanced Representation through Knowledge Integration
主要讲解百度提出的ERNIE模型,基于知识增强的预训练语言模型原创 2021-12-19 13:04:29 · 1301 阅读 · 0 评论 -
【预训练语言模型】MacBERT: Revisiting Pre-trained Models for Chinese Natural Language Processing
本文主要讲解一种中文预训练语言模型——MacBERT,改进了MLM的策略,具体如何做,快来看看吧~原创 2021-12-19 11:37:12 · 2282 阅读 · 0 评论 -
论文解读:Correcting Chinese Spelling Errors with Phonetic Pre-training
论文解读:Correcting Chinese Spelling Errors with Phonetic Pre-training(ACL2021) 中文拼写纠错CSC任务具有挑战性,目前的SOTA方法是仅使用语言模型,或将语音信息作为外部知识;本文将提出一种新的端到端的CSC模型,将phonetic(拼音)特征融入到预训练和微调部分:我们在预训练阶段,每次随机将某个token替换为sound-alike的词;提出adaptive weighted联合训练detection和correction原创 2021-11-25 14:26:42 · 3101 阅读 · 0 评论 -
论文解读:Spelling Error Correction with Soft-Masked BERT
论文解读:Spelling Error Correction with Soft-Masked BERT(2020ACL) 拼写错误纠错是一个比较重要且挑战的任务,非常依赖于人类的语言理解能力。本文关注中文的拼写错误纠错任务(Chinese Spelling Error Correction)。目前SOTA的方法是给予BERT模型,为句子中的每一个词,从候选的字符列表中挑选一个作为纠错的结果,然而这类方法容易陷入局部最优。然而,因为 BERT 没有足够的能力来检测每个位置是否有错误,显然是由于使用掩码语原创 2021-11-25 14:03:25 · 1526 阅读 · 0 评论 -
论文解读:ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
论文解读:ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information(2021ACL)简要信息:序号属性值1模型名称ChineseBERT2所属领域自然语言处理、中文预训练语言模型3研究内容预训练语言模型4核心内容BERT应用5GitHub源码https://github.com/ShannonAI/ChineseBert6论文PDFhttp原创 2021-11-19 17:31:04 · 2394 阅读 · 0 评论 -
【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach
【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach作者发现BERT以及提供的预训练语言模型并没有得到充分的训练,因此本文提出RoBERTa以挖掘BERT模型,并提供充分的训练。作者认为,扩增训练语料、增大预训练的迭代次数、去掉Next Sentence Prediction、在更长的序列上训练、动态Masking等策略(Trick)可以大幅度提升BERT的性能。简要信息:序号属性值1模型名称RoBE原创 2021-11-19 16:06:07 · 2162 阅读 · 0 评论 -
【预训练语言模型】StructBERT: Incorporation Language Structures into Pre-training For Deep Language Understa
【预训练语言模型】StructBERT: Incorporation Language Structures into Pre-training For Deep Language Understanding在预训练语言模型考虑文本的结构信息,并提出新的预训练任务,在word和sentence级别上融入结构信息。引入结构信息的语言模型,在GLUE、SQuAD和NLI等下游任务上达到了SOTA。备注:GLUE榜单:https://gluebenchmark.com/leaderboard简要信息:原创 2021-11-19 14:28:40 · 647 阅读 · 0 评论 -
论文解读:SentiPrompt: Sentiment Knowledge Enhanced Prompt-Tuning for Aspect-Based Sentiment Analysis
论文解读:SentiPrompt: Sentiment Knowledge Enhanced Prompt-Tuning for Aspect-Based Sentiment Analysis简要信息:序号属性值1模型名称SentiPrompt2所属领域自然语言处理;情感分析3研究内容预训练语言模型;Prompt框架4核心内容Prompt-based Fine-tuning5GitHub源码6论文PDFhttps://arxiv原创 2021-10-18 19:13:46 · 2747 阅读 · 14 评论 -
论文解读:P-Tuning v2: Prompt Tuning Can Be Comparable to Finetuning Universally Across Scales and Tasks
论文解读:P-Tuning v2: Prompt Tuning Can Be Comparable to Finetuning Universally Across Scales and Tasks P-tuning等方法的提出,避免了人工构建离散的template,而让模型可以自动学习continuous embedding,然而P-tuning在一些复杂的自然语言理解(Natural Langauge Understanding, NLU)任务上效果很差。因此本文基于P-tuning和Prefix-原创 2021-10-17 00:55:57 · 6572 阅读 · 3 评论 -
论文解读:GPT Understands, Too
论文解读:GPT Understands, Too虽然GPT在传统的预训练微调方面并没有在自然语言理解任务上达到最好的效果, 但是当使用我们提出的P-tuning方法时,便可以与BERT相媲美。P-tuning是一种新的微调方法,其使用可训练的连续空间内的prompt embeddings。在knowledge probing和superGLUE benchmark上得以提升。最重要的是,我们发现P-tuning也可以让BERT在小样本和监督学习上得以提升。且P-tuning可以在superGLUE的小样原创 2021-10-16 19:05:02 · 5639 阅读 · 4 评论 -
论文解读:Factual Probing Is [MASK]: Learning vs. Learning to Recall
论文解读:Factual Probing Is [MASK]: Learning vs. Learning to Recall 先前一系列Prompt方法基于搜索策略获得Prompt的template,即factor probing strategy,本文则提出新的OptiPrompt方法,关注如何进一步提高搜索prompt的效率。简要信息:序号属性值1模型名称OptiPrompt2所属领域自然语言处理;文本分类3研究内容预训练语言模型;Prompt框架原创 2021-10-16 18:33:00 · 1069 阅读 · 0 评论 -
论文解读:It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners
论文解读:It’s Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners PET作者认为之前的PET只能生成single task,本文则将PET拓展为多个token生成;简要信息:序号属性值1模型名称PET2所属领域自然语言处理;文本分类3研究内容预训练语言模型;Prompt框架4核心内容Prompt-based Fine-tuning5原创 2021-10-16 18:06:33 · 1404 阅读 · 3 评论 -
论文解读:Knowledgeable Prompt-tuning: Incorporation Knowledge into Prompt Verbalizer for Text Classifica
论文解读:Knowledgeable Prompt-tuning: Incorporation Knowledge into Prompt Verbalizer for Text Classification 在预训练语言模型上使用与任务相关的prompt进行微调已经成为目前很有前途的方法。先前的研究表明了在小样本场景下采用基于prompt-tuning的效果比传统通过添加分类器的微调更有效。Prompt的核心思想是添加额外的上下文(即模板template),并一同与输入句子喂入语言模型中,并将分类任务原创 2021-10-16 15:44:22 · 2988 阅读 · 4 评论