夏栀的博客

介绍promptbert用于解决预训练语言模型对句子表征存在的各项异性问题。

小样本实体识别（Few-shot NER）旨在给定目标domain非常少的标注数据（例如符合 N-way K-shot 规则的support set）的前提下，能够识别出文本中指定类型的所有实体。而通常实体识别是视为一种序列标注（sequence labeling）任务。目前与实体识别相似的任务还有槽位填充（Slot Tagging）。本文介绍ACL2020的一篇工作试图解决基于Few-shot的序列标注问题。...

Example-based NER指给定support set少量的样本，对应的所有entity type只有很少的实体。给定一个query时，模型会分别根据support set中的entity type寻找query对应的实体。

介绍Few-NERD数据集，以及基于N-way K-shot的实体识别任务定义。对核心代码进行展示，并介绍目前的研究进展和baseline对比实验。

本文介绍基于entity masking的知识增强预训练语言模型的实现，以及在几个下游任务微调的方法。本文分享核心代码实现和相关数据。

  知识增强的预训练语言模型旨在借助外部知识库的结构化知识，在对语言模型进行预训练的时候显式地让模型学习到结构事实知识。本文分享一篇来自ICLR 2020的知识增强预训练的工作。

EasyNLP正式发布！EasyNLP是一款基于Pytorch的易用、简单、高效的深度学习NLP开发框架。目前已经正式被CLUE作为官方刷榜baseline工具。

NLP常用损失函数代码实现  NLP常用的损失函数主要包括多类分类（SoftMax + CrossEntropy）、对比学习（Contrastive Learning）、三元组损失（Triplet Loss）和文本相似度（Sentence Similarity）。其中分类和文本相似度是非常常用的两个损失函数，对比学习和三元组损失则是近两年比较新颖的自监督损失函数。  本文不是对损失函数的理论讲解，只是简单对这四个损失函数进行了实现，方便在模型实验中快速嵌入损失函数模块。为了能够快速直观地看到损失函数的执

NLP几种常用的对抗训练方法  对抗训练本质是为了提高模型的鲁棒性，一般情况下在传统训练的基础上，添加了对抗训练是可以进一步提升效果的，在比赛打榜、调参时是非常重要的一个trick。对抗训练在CV领域内非常常用，那么在NLP领域如何使用呢？本文简单总结几种常用的对抗训练方法。  对抗训练旨在对原始输入样本 xxx 上施加扰动 radvr_{adv}radv​，得到对抗样本后用其进行训练：公式理解：最大化扰动：挑选一个能使得模型产生更大损失（梯度较大）的扰动量，作为攻击；最小化损失：根据最大

中文拼写检测（Chinese Spelling Checking）相关方法、评测任务、榜单  中文拼写检测（Chinese Spelling Checking，CSC）是近两年来比较火的小众任务，在包括ACL、EMNLP等顶会上发展迅速。本文简单介绍CSC任务，相关方法、评测任务和榜单。一、中文拼写检测  中文拼写检测（Chinese Spelling Checking，CSC）又称中文拼写纠错（Chinese Spelling Correction，CSC），其旨在根据上下文来识别并纠正错误的拼写问

论文解读：SpellBERT：A Lightweight Pretrained Model for Chinese Spelling Checking简要信息：序号属性值1模型名称SpellBERT2发表位置EMNLP20213所属领域自然语言处理、中文拼写纠错4研究内容中文拼写纠错5核心内容预训练语言模型6GitHub源码7论文PDFhttps://dl.acm.org/doi/10.1145/3404835.346

论文解读：Dynamic Connected Networks for Chinese Spelling Check  我们知道，拼写纠错任务比较类似预训练语言模型中的**Masked Language Modeling（MLM）**任务。但是MLM有一个缺陷是每个token的预测是独立的，而在纠错任务中，存在错误的字符往往在纠正时需要考虑前后字符的依赖关系。基于此动机，本文提出一种动态连接网络以构建模型输出部分相邻字符之间的相关性。简要信息：序号属性值1模型名称DCN

介绍在SIGIR2021发表的一篇中文拼写纠错文章——DCSpell。

简单介绍pytorch如何基于DDP实现单机多卡GPU并行训练。本文提供简单的数据并行的原理概述，并通过MNIST任务样例给出如何DDP，同时给出DDP的框架。最后给出DDP常见的一些报错（持续更新）。

【预训练语言模型】CoLAKE: Contextualized Language and Knowledge Embedding（ICCL2020）核心要点：将文本与知识库统一为WK Graph格式，即将文本视为全连接图word graph，将文本中的entity mention检索的子图作为knowledge sub-graph，entity mention作为anchor node结合为WK Graph使用预训练的knowledge embedding作为初始化，并与word emedding结

【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion核心要点：知识图谱是不全的，先前的补全方法只是考虑稀疏的结构信息，忽略了上下文的文本信息；将实体、关系和三元组是为序列，并将知识图谱补全的任务视作序列分类任务；简要信息：序号属性值1模型名称MT-DNN2发表位置ACL 20193所属领域自然语言处理、预训练语言模型4研究内容预训练语言模型、多任务学习5核心内容Multi-t

【预训练语言模型】KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation核心要点：不引入任何参数实现知识融合；结合知识表示学习和MLM两个loss进行训练；构建新的benchmark：wikidata5M简要信息：序号属性值1模型名称KEPLER2发表位置ACL 20193所属领域自然语言处理、预训练语言模型4研究内容

【预训练语言模型】K-BERT: Enabling Language Representation with Knowledge Graph核心要点：融合KG到BERT，并非是embedding融合，而是将KG和原始文本结合形成sentence-tree；根据sentence tree提出soft-position和visible matrix以避免knowledge noise；K-BERT在中文领域上先预训练（不加KG），然后在fine-tuning（加KG）简要信息：序号属性

论文解读：Finetuned Language Models Are Zero-shot Learners简要信息：序号属性值1模型名称Instruction-tuning2发表位置20213所属领域自然语言处理、预训练语言模型4研究内容预训练语言模型、多任务学习5核心内容instruction, prompt6GitHub源码https://github.com/google-research/flan7论文PDFh

论文解读：NSP-BERT： A Prompt-based Zero-Shot Learner Through an Original Pre-training Task——Next Sentence Prediction  先前的一些基于Prompt的方法都是建立在Masked Language Modeling（MLM）任务上，即将下游任务转换为完形填空型任务。本文则换一种角度，将Prompt用在了被大多数语言模型摒弃掉的Next Sentence Prediction（NSP）上。简要信息：