nlp论文阅读
文章平均质量分 86
欢桑
小陈要努力变强
展开
-
文本生成论文阅读 REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models
预训练神经语言模型(LMs)容易产生种族主义、性别歧视或其他有毒的语言,这阻碍了它们的安全部署。我们研究了预训练LM在那种程度上会倾向产生有毒的语言,以及可控文本生成算法在防止这种有毒退化方面的效果。本文创建并发布了REALTOXICITYPROMPTS,一个由10万个自然发生的句子级提示组成的数据集,(数据集来自一个大型的英语网络文本语料库,并与一个广泛使用的毒性分类器的毒性评分相匹配)。通过使用REALTOXICITYPROMPTS,我们发现,即使从看似无害的提示中,预训练的LM也会退化成有毒文本。原创 2023-06-05 19:59:58 · 1243 阅读 · 0 评论 -
Towards Identifying Social Bias in Dialog Systems: Framework, Dataset, and Benchmark
在这篇论文中,作者们探讨了对话系统中的社会偏见问题,并提出了一个框架,用于系统地识别和评估这些偏见。他们提出了一个包含多个维度的社会偏见分类体系,并构建了一个大规模的标注数据集,其中包含超过6000个对话样本,用于评估对话系统中的社会偏见。作者们还提出了一个基于度量学习的算法来评估对话系统的社会偏见,并在他们的数据集上进行了广泛的实验。最后,他们提出了一个基于他们的数据集的基准测试,以便更好地评估未来对话系统中的社会偏见。原创 2023-06-08 09:58:22 · 198 阅读 · 0 评论 -
论文阅读 Interpretable Unified Language Checking
大语言模型会产生的不良行为(包括非事实性、偏见性和仇恨性语言)。本文提出了一种可解释的、统一的语言检查(UniLC)方法,用于人类和机器生成的语言,旨在检查语言输入是否真实和公平(将两者结合起来)。用本文提出的方法和结果表明,基于强大的潜在知识表征,LLMs可以成为检测错误信息、刻板印象和仇恨言论的适应性和可解释性工具。这篇文章提出了一种新的方法,称为可解释的统一语言检查,该方法可以同时检测文本中的多种语言错误和问题,并提供可解释的结果。原创 2023-06-12 18:30:29 · 1889 阅读 · 0 评论 -
nlp论文阅读COLD: A Benchmark for Chinese Offensive Language Detection
冒犯性语言检测对于维护文明的社交媒体平台和部署预先训练的语言模型越来越重要。然而,由于缺乏可靠的数据集,这一任务在中国仍处于探索阶段。为此,我们提出了一种用于中文冒犯性语言分析的基准- COLD,包括中文冒犯性语言数据集- COLDATASET和在该数据集上训练的基线检测器- COLD.ETECTOR。我们发现,COLD基准有助于现有资源难以实现的中文冒犯性语言检测。然后,我们使用COLDETECTOR对常用的汉语预训练语言模型进行详细分析。原创 2023-04-15 17:38:48 · 1860 阅读 · 3 评论 -
文本生成论文阅读DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for Controllable Text Generatio
传统的prompt tuning可控方法倾向于模仿训练语料中的特征,导致泛化能力不佳;。在本文中,作者提出在训练时使用属性判别器挑选以更高置信度满足期望属性的候选词,并鼓励模型生成这些词。作者多个可控任务进行了实验,结果表明本文的方法优于现有的基准模型。提示:以下是本篇文章正文内容,下面案例可供参考1)本文提出了一种基于unlikelihood训练的prompt可控生成方法。不同于传统的在语料库.上进行下一个词预测,本文使用属性判别器来选择最有可能接近目标属性的词,并远离似然性低的词。原创 2023-04-03 21:10:03 · 510 阅读 · 1 评论 -
文本生成论文阅读A Distributional Lens for Multi-Aspect Controllable Text Generation
多向可控文本生成是一项比单向控制更具挑战性和实用性的任务。现有方法通过融合从单一方面学习到的多个控制器来实现复杂的多方面控制,但由于各控制器之间的相互干扰,导致属性退化。为了解决这个问题,作者从分布的角度对属性融合进行了观察,并提出直接搜索多个属性分布的交集区域作为它们的组合进行生成。首先用自编码器结构估计属性空间。之后,通过联合最小化到表示不同属性的点的距离来迭代地接近交点。最后,使用基于前缀调优的解码器将它们映射到与属性相关的句子。原创 2023-04-03 19:17:47 · 342 阅读 · 1 评论 -
文本生成论文阅读Tailor: A Prompt-Based Approach to Attribute-Based Controlled Text Generation
可控文本生成是自然语言处理领域的一类重要问题。现有的可控生成方法通过微调整个语言模型或使用额外的分类器在解码阶段进行控制,但这会导致很高的训练成本或降低生成文本的质量。本文使用prompt完成可控生成的任务,将每个属性视作可训练的连续向量(prompt),但是直接拼接单属性的prompt存在文本质量下降和位置敏感等问题,因此作者通过一个非训练的方法或微调一个可训练的prompt来消除训练与测试阶段的差异,从而完成多属性控制。实验效果表明该方法可以显著提升控制效果,并保证了文本质量。原创 2023-02-02 21:53:03 · 930 阅读 · 1 评论 -
文本生成论文阅读ParaDetox:Detoxifification with Parallel Data
本文提出了一个新颖的文本解毒任务平行数据收集流水线,收集了超过1万个英文毒性句子的无毒复述。本文还展示了该流水线可以用于提取大量得现有得复述语料库,以获得毒性-中性得句子对。本文发布了两个平行语料库用于解毒任务的训练,这是该任务的第一个平行数据集,本文对平行数据收集流水线进行了详细的描述,使其能够快速地为一个新的语言或领域建立、开发平行语料资源。转载 2023-02-02 16:01:20 · 749 阅读 · 1 评论 -
文本生成论文阅读 Proactively Reducing the Hate Intensity of Online Posts via Hate Speech Normalization
仇恨言论攻击往往针对宗教、族裔、国籍、种族、肤色、世系、性别或其他身份因素。作者的实验旨在捕捉不同程度和设计的仇恨;把仇恨作为一个总括术语,包括仇恨、虐待和冒犯的重叠定义。提示:以下是本篇文章正文内容,下面案例可供参考存在的两个挑战:1)缺乏平行数据来训练更复杂的生成模型。2)样本中存在隐性仇恨。第一个问题可以通过注释更多的样本来解决(代价昂贵),但处理隐含的仇恨是很麻烦的。在本篇论文中,由于没有明确的仇恨跨度,忽略了隐含的仇恨样本。原创 2023-01-15 09:20:42 · 384 阅读 · 1 评论 -
文本生成论文阅读 Controllable Natural Language Generation with Contrastive Prefixes
在传统的用于 NLP 任务的监督学习系统中,输入 x 通常是文本数据,并基于模型 P(y|x;θ) 预测输出 y。但是,监督学习面临的一个主要问题是,即为了训练模型 P(y|x;θ),必须要有用于训练任务的监督数据,但找到这种适用数据是比较困难的。在 NLP 中,基于 Prompt 的学习方法试图通过学习 LM 来规避这一问题,该 LM 对文本 x 本身的概率 P(x;θ) 进行建模并使用该概率来预测 y,从而减少或消除了训练模型对大型监督数据集的需求。原创 2023-01-12 14:03:26 · 677 阅读 · 0 评论 -
文本生成论文阅读Enhancing Topic-to-Essay Generation with External Commonsense Knowledge
TEG任务是指给定 topic 集合,生成主题相关、段落集的文本。过去的任务忽略了常识知识,本文通过动态记忆机制将外部知识库中的常识集成到生成器中。因为来源信息的极度不足可能会使生成的文章在新颖性和主题一致性方面质量低下。所以在这篇论文中精心设计了一个记忆增强神经模型,有效地融合了常识性知识。其动机是来自外部知识库的常识可以提供额外的背景信息。原创 2022-12-25 21:12:56 · 467 阅读 · 0 评论 -
文本生成论文阅读 Knowledge-based Review Generation by Coherence Enhanced Text Planning
基于知识图谱的增强连贯性文本规划的评论生成。为了丰富文本内容,现有的解决方案通常从知识图谱中学习如何复制实体或三元组。然而,这些方法对如何选择和安排知识图谱缺乏整体的考虑,容易造成文本不连贯问题。为了解决上述问题,作者以实体为中心,利用知识图谱的语义结构提高生成评论文本的连贯性。提示:以下是本篇文章正文内容,下面案例可供参考目前对自己的方向还是不清晰,感觉还是使用关键词增强文本的连贯性比较适合我,也有可能本篇论文我读的不是很懂。原创 2022-12-24 12:03:03 · 437 阅读 · 1 评论 -
文本生成 论文阅读A Syntactically Constrained Bidirectional-Asynchronous Approach for Emotional Conversation
假设每个生成的回复都包括一个情感关键词与主题关键词。有了两个关键词后,就可以考虑如何生成文本。每次首先生成中间的文本序列,再分别生成剩下的两段文本,最后对这段文本的真实方向进行二分类,输出最终生成的文本。原创 2022-12-14 16:24:44 · 383 阅读 · 3 评论 -
文本生成论文阅读 Towards Implicit Content-Introducing for Generative Short-Text Conversation Systems
本篇论文实际上是对上一篇论文的优化(seq2BF),使用关键词作为软约束,即关键词不一定出现在生成文本中。本框架有三个部分组成:标准GRU;提示词GRU和融合单元。(标准GRU和提示词GRU不共享信息,标准GRU操作一个一般的解码过程,提示词GRU模仿这个过程,但将预测的提示词作为当前输入。 对于融合单元,它结合标准GRU和提示字GRU的隐藏状态以生成当前输出字。 实验结果证明了该方法的有效性。)GRU(Gate Recurrent Unit)和LSTM(Long-Short Term Memory)一样原创 2022-12-06 17:07:06 · 533 阅读 · 0 评论 -
文本生成论文阅读Sequence to Backward and Forward Sequences: A Content-Introducing Approach to
本文的创新点在于,引入逐点互信息方法来预测回答语句中的关键词,使用seq2BF机制确保该关键词可以出现在目标回答语句的任意位置之中并确保输出的流利度,相比于seq2seq的生成方法显著地提升了对话系统的质量。原创 2022-12-02 13:41:25 · 332 阅读 · 1 评论 -
文本生成论文阅读 Get To The Point: Summarization with Pointer-Generator Networks
本篇论文主要是用了copy机制,从输入中拷贝结果到输出,缓解OOV问题。本文提出一种新颖的架构:使用两种方式增强标准的seq2seq注意力模型。一,使用混合指针生成网络,利用指针从原文精确地复制单词,同时保留生成器产生新单词的能力。二,使用覆盖机制跟踪哪些单词已经被摘取,避免生成重复文本。提示:以下是本篇文章正文内容,下面案例可供参考。原创 2022-11-26 21:28:09 · 485 阅读 · 0 评论