![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 72
小白之比白更白
这个作者很懒,什么都没留下…
展开
-
adapter-transformers的用法
官方也有给怎么使用提供的adapter的教程,但是如果想要嵌入自己的代码中还是会有些迷糊。本文给大家说一下自己要用的话怎么去加入自己的代码中。原创 2023-04-27 14:34:13 · 990 阅读 · 1 评论 -
控制Tensor里的数值小于0则置0
通用模板如下,第一个参数是控制条件,这里是小于0,第二个元素是满足条件的赋值,第三个是不满足条件的赋值,这里不小于0则保留原来的数值。同理,不小于0的可以赋值为1。原创 2023-03-02 22:29:11 · 1354 阅读 · 0 评论 -
Pytorch的DataLoader输入输出(以文本为例)
torch.utils.data.DataLoader是PyTorch中数据读取的一个重要接口,该接口定义在dataloader.py脚本中,只要是用PyTorch来训练模型基本都会用到该接口。本文介绍torch.utils.data.DataLoader与torch.utils.data.Dataset结合使用的方法。原创 2023-03-02 11:30:03 · 2110 阅读 · 1 评论 -
取出BERT中的某一部分网络/参数
取出BERT中的某一部分网络/参数,其他模型同理。原创 2022-10-18 10:45:03 · 975 阅读 · 0 评论 -
BLEU的计算
摘录部分学习记录~1. 简介BLEU(Bilingual Evaluation Understudy),相信大家对这个评价指标的概念已经很熟悉,随便百度谷歌就有相关介绍。原论文为BLEU: a Method for Automatic Evaluation of Machine Translation,IBM出品。本文通过一个例子详细介绍BLEU是如何计算以及NLTKnltk.align.bleu_score模块的源码。首先祭出公式:注意这里的BLEU值是针对一条翻译(一个样本)来说转载 2022-01-15 21:21:08 · 668 阅读 · 0 评论 -
pad_sequence和nn.utils.rnn.pack_padded_sequence和nn.utils.rnn.pad_packed_sequence
pad_sequence填充可变长度张量列表例子>>> from torch.nn.utils.rnn import pad_sequence>>> a = torch.ones(25, 300)>>> b = torch.ones(22, 300)>>> c = torch.ones(15, 300)>>> pad_sequence([a, b, c]).size()torch.Size(原创 2022-01-15 18:52:06 · 913 阅读 · 0 评论 -
论文阅读:Exploiting Persona Information for Diverse Generation of Conversational Responses IJCAI 2019
传送门:IJCAI 2019 融合角色信息的多样性对话生成 - 云+社区 - 腾讯云转载 2021-12-16 14:53:49 · 264 阅读 · 0 评论 -
论文阅读:Generate, Delete and Rewrite: A Three-Stage Framework for ImprovingPersona Consistency of Dial
2020 ACL这篇论文提出单阶段的生成模型仍然难以避免在生成对话时生成一些不一致的词,因此作者采用三阶段来生成,先生成,再检测不一致性,最后再重写不一致的词。框架如下:生成阶段:输入是角色信息和问题,采用解码器和编码器的结构,均基于transformer。生成相应的回答。删除阶段:输入是生成的回答。使用类似自注意力机制的方式检测每个词不一致的比重,然后mask掉不一致的词。在DNLI数据集上以自然语言推理的方式训练。重写阶段:输入是删除后的回答和角色信息。然后生成最终的回答。有一.原创 2021-12-14 15:12:21 · 2239 阅读 · 0 评论 -
论文阅读:Mitigating Gender Bias for Neural Dialogue Generation withAdversarial Learning(2020 EMNLP)
这篇论文解决的是人机对话中存在的性别偏见问题。数据是单轮对话。作者给出了解决偏见问题的三个难点:对话中包含很多性别相关的内容,为了消除或减少偏见至少应该区分出哪些内容是有偏见的,哪些是没有的。但是变差的表达形式有很多,所以这不是一件容易的事情。 在对话中,消除偏差本就是很难得事情。就是要生成没有偏见的对话本就很难。 在生成的对话没有偏差的情况下,还要保持原有的流畅性和多样性。作者说的这三点对应着后面作者解决问题的思路。并不代表了这个问题的通用属性...原创 2021-12-13 21:44:10 · 1216 阅读 · 0 评论 -
论文阅读:Personalizing Dialogue Agents: I have a dog, do you have pets too?
提出了一个数据集:PERSONA-CHAT,该数据集的收集分三个阶段:Personas: 首先创建1155个可能的个性,每一个都至少包含5个profile的句子,其中100个作为验证集,100个作为测试集; Revised personas: 交给另外一些标注人员,将1155个不同的个性做改写; Persona chat: 随机选定两个个性,让两个Turkers(众筹人员)按照分配的个性进行对话,通过这种方法收集了10907个对话,包含162064个utterance。上述三个阶段的数据,可以从下转载 2021-12-12 21:02:06 · 395 阅读 · 1 评论 -
论文阅读:I like fish, especially dolphins:∗Addressing Contradictions in Dialogue Modeling 2021 ACL
摘要为了量化自然语言理解模型在一般会话中捕捉一致性的能力,我们引入了对话矛盾检测任务(DECODE)和一个新的会话数据集,其中包含了人-人和人-机器人的矛盾对话。然后,我们将基于结构化话语的方法(使用预训练Transformer模型进行矛盾检测)与典型的非结构化方法进行了比较。结果表明:(1)与现有的NLI数据(包括针对对话领域的数据)相比,我们新收集的数据在对话矛盾检测任务中的监督效果显著提高;(ii)结构化的基于话语的方法比非结构化的方法在分析对话和分布外对话中更健壮和可转移。我们还表明,我们的最佳原创 2021-12-09 17:39:54 · 558 阅读 · 0 评论 -
一些对话论文总结
数据驱动系统导致回答要么泛化,要么可能前后矛盾。例如前面说成年了,后面又说我今年十五岁。评估方法:困惑度、BELU、F1角色一致性初衷是为了避免出现这种前后矛盾的回答。A persona-based neural conversation model. ACL 2016a使用没有明确标注人物属性的数据提出Speaker Model和Speaker-Addressee Model,Speaker Model在传统Seq2Seq模型的decoder部分引入了用户角色vector或者em.原创 2021-12-06 10:29:00 · 792 阅读 · 0 评论 -
论文阅读:Dialogue Response Selection with Hierarchical Curriculum Learning(ACL2021)
Abstract作者再研究对话反应选择匹配模型的时候,发现使用随机负样本训练的模型再实际应用场景中并不理想,所以作者提出了一个分层课程学习框架,从易到难训练匹配模型。学习框架包括两个互补课程:语料级的课程CC和实例级的课程IC。在CC中,模型在对话上下文和回答之间搜索匹配线索的能力逐渐增强,在IC中,它也能逐步增强模型识别对话上下文和回答候选之间匹配到错误信息的能力。实验中,作者使用三个最先进的匹配模型在三个基准数据上实验,证明了所提出的学习框架能够显著提高模型在各个指标上的性能。Introd...原创 2021-12-03 15:02:58 · 2319 阅读 · 0 评论 -
角色一致性对话论文合集
角色对话论文包括数据集,角色对话,一致性处理等方面论文。数据集:Zhang, Saizheng, Emily Dinan, Jack Urbanek, Arthur D. Szlam, Douwe Kiela and Jason Weston. “Personalizing Dialogue Agents: I have a dog, do you have pets too?” ACL (2018).Mazaré, Pierre-Emmanuel, Samuel Humeau, Martin R原创 2021-10-06 19:04:42 · 753 阅读 · 1 评论 -
对话一致性的两种类型
对话一致性分为上下文语义一致性和角色一致性。语义一致性上下文语义一致很好理解吧,举个例子:机器人:“我今天去北京了。”真人:“那你去哪里玩了?”机器人:“我去了西湖。”这显然是矛盾的,虽然在语法上没有问题,但是语义是矛盾的。角色一致性角色一致性是指机器人的已知属性和生成的回答之间是矛盾的,通常和提问关系不大。例如:机器人的属性:我今天36岁,我有一个可爱的女儿,我喜欢滑冰。对话如下:真人:“听说你有一个孩子,是男生还是女生。”机器人:“男孩。”这个对话显然在语义上没有问题,但是与机原创 2021-10-06 18:42:37 · 635 阅读 · 0 评论 -
论文阅读:Learn to Resolve Conversational Dependency
原论文:Learn to Resolve Conversational Dependency:A Consistency Training Framework for ConversationalQuestion Answering学会解决会话依赖:会话问答一致性训练框架介绍会话问答依赖于上下文语义,需要解决指代和省略的问题。以往的方法有端到端的方法,端到端的很好理解后面可以看图。还有pipeline的方法,这种方法将CQA分解成问题重写QR和问答QA,pipeline方法相当于下面这个式子。原创 2021-10-20 18:16:37 · 249 阅读 · 0 评论 -
论文阅读:Personalizing Dialogue Agents via Meta-Learning
元学习基础元学习的基础知识可以去看李宏毅老师的视频,讲得比较清晰。视频地址摘要问题:现有的个性化对话模型使用人类设计的角色描述来提高对话的一致性。从现有对话框中收集这样的描述是昂贵的,并且需要手工制作功能设计。贡献:将模型不可知论元学习(MAML) 扩展到不使用任何人物描述的个性化对话学习。通过仅利用从同一用户收集的几个对话样本来学习快速适应新的角色,这与将响应限制在角色描述上是完全不同的。结果:在Persona-chat数据集上的经验结果表明,在自动评估指标和人类评估的流畅性和一致性方面原创 2021-10-27 12:08:45 · 426 阅读 · 1 评论 -
论文阅读:A Survey on Bias and Fairness in Machine Learning(ACM)
按中李沐的读论文方法只看摘要、结论和介绍,有兴趣的再看模型和实验。摘要随着人工智能系统和应用在我们日常生活中的广泛使用,在设计这些类型的系统时,考虑公平问题是很重要的。这种系统可能用于许多敏感的环境中,以作出重要的和改变生活的决定。因此,确保这些决定不反映对某些群体或人群的歧视行为是至关重要的。我们最近看到了机器学习、自然语言处理和深度学习的工作,它们在不同的子领域解决了很多问题。随着这些系统的商业化,研究人员逐渐意识到这些应用程序可能包含的偏见,并试图解决它们。在这篇综述中,我们调查了不同的应..原创 2021-12-02 17:44:49 · 1237 阅读 · 0 评论 -
论文阅读:Towards Understanding and Mitigating Social Biases in Language Models(PMLR)
按中李沐的读论文方法只看摘要、结论和介绍,有兴趣的再看模型和实验。Abstract论文摘要的 开头,作者很贴心的说了模型的输出可能会引起不适。摘要的内容也是包括背景方法和结果三部分。随着机器学习的发展,基于数据的预训练语言模型可能在实际应用中可能会产偏见。偏见的类型可能包括性别、种族、宗教和其他一些刻板印象。为了提高机器学习的公平性,这篇论文定义了几个代表性偏差的来源,并且提出了如何在文本生成过程中减少社会偏见的生成的方法。结果是在自动和人工评价中都表明它们的方法在减少偏见的同时也能..原创 2021-12-02 16:49:19 · 548 阅读 · 0 评论 -
一些NLP任务分类
转载,原文链接:https://blog.csdn.net/lz_peter/article/details/81588430词法分析(Lexical Analysis):对自然语言进行词汇层面的分析,是NLP基础性工作分词(Word Segmentation/Tokenization):对没有明显边界的文本进行切分,得到词序列新词发现(New Words Identification):找出文本中具有新形势、新意义或是新用法的词形态分析(Morphol...转载 2021-12-02 21:58:37 · 684 阅读 · 0 评论