![](https://img-blog.csdnimg.cn/20200518101943138.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
文章平均质量分 94
日常NLP学习的积累
修行者_Yang
这个作者很懒,什么都没留下…
展开
-
序列生成算法 --- Beam Search
最近研究了一下用基于BERT的encoder-decoder结构做文本生成任务,碰巧管老师昨天的文章也介绍了以生成任务见长的GPT模型,于是决定用两篇文章大家介绍一下在文本生成任务中常用的解码策略Beam Search(集束搜索)。解码及贪心搜索生成式任务相比普通的分类、tagging等NLP任务会复杂不少。在生成的时候,模型的输出是一个时间步一个时间步依次获得的,而且前面时间步的结果还会影响后面时间步的结果。也就是说,每一个时间步,模型给出的都是基于历史生成结果的条件概率。为了生成完整的句子,需要一个原创 2021-03-26 10:06:46 · 2100 阅读 · 0 评论 -
序列生成(sequence generate)架构
序列生成架构:decoder模型:1.1 模型架构图:1.2 数据流:数据形式:使用历史token序列预测当前时刻 t 下一个时刻 t+1 时刻。训练数据形式:假设有一段token序列X,那么input_sequence = X[:-1],lable_sequence = X[1:],原则就是使用当前时刻的历史hidden state info和当前token作为模型(模型可是RNN或transformer)的输入,预测下一时刻的输出token,如图中一个子模块。预测数据形式:初始token原创 2020-09-22 11:39:33 · 2639 阅读 · 0 评论 -
LSTM:从原理理解开始使用pytorch构建网络
这是一个造轮子的过程,但是从头构建LSTM能够使我们对体系结构进行更加了解,并将我们的研究带入下一个层次。LSTM单元是递归神经网络深度学习研究领域中最有趣的结构之一:它不仅使模型能够从长序列中学习,而且还为长、短期记忆创建了一个数值抽象,可以在需要时相互替换。在这篇文章中,我们不仅将介绍LSTM单元的体系结构,还将通过PyTorch手工实现它。最后但最不重要的是,我们将展示如何对我们的实现做一些小的调整,以实现一些新的想法,这些想法确实出现在LSTM研究领域,如peephole。LSTM体系结原创 2020-06-27 09:44:01 · 978 阅读 · 0 评论 -
MDDR:Multimodal Dialogue Dense Retriever模型
MDDR:能够实现文本或图片两种模态多轮对话的检索,通过对海量多模态历史交互信息的检索召回与排序,实现对当前问题的应答。模型结构见下图。模型子模块:闲聊分类模块:针对多轮对话场景,判断当前用户问题是否含有充足的业务信息。在对话过程中,系统会使用该模块对用户问题进行判断,如果当前信息不足以进行有意义的应答,则系统会加上上一轮的用户问题,进行检索召回。该模块示例使用fasttext模型实现,并随机挑选了2200条此次比赛训练集中出现的数据进行标注,其中标签**"1"表示该问题是缺乏业务知识的闲聊**,原创 2020-06-23 16:30:36 · 693 阅读 · 0 评论 -
RL:强化学习在任务式对话领域的优势
一、强化学习与监督学习的区别强化学习是通过与环境交互获取reward来更新agent网络参数的。监督学习是通过已有的标签数据来更新agent网络参数的。强化学习并不需要正确的“输入/输出对”数据,强化学习‘强’就是因为其训练过程不需要准备大量的带标签的训练样本,它重视的是环境给予的反馈,训练是一个交互学习的过程。监督需要大量正确的“输入/输出对”数据,它重视的是teacher作出的评判,训练是一个老师指导学习的过程。二、强化学习做任务式对话决策的优势相比于监督学习,使用深度强化学习原创 2020-05-11 11:42:35 · 605 阅读 · 0 评论 -
RL:《End-to-End Optimization of Task-Oriented DialogueModel with Deep Reinforcement Learning》论文研读记录
论文地址:https://arxiv.org/abs/1711.10712论文主要研究如何通过深度强化学习策略与监督学习训练出来的模型交互来优化模型参数。监督学习模型主要是通过已有带标签数据训练出来的,模型参数优化主要是通过和用户交互进行优化。本文几个亮点:A. 基于深度强化学习对模型的优化提升了对话任务完场的成功率和缩短了对话论述相比于监督学习没有优化的模型。B. 使用LSTM对当前第K ...原创 2020-03-20 13:52:00 · 205 阅读 · 0 评论 -
uber plato research dialogue system研究要点记录
一.使用plato构建一个对话系统主要包含三个部分:Domain:相当于数据,主要包含两个部分Ontology和Database,Ontology相当于rasa domain中slot和intent,主要包括informable_slots、requstable_slots、System_requestable_slots。Database相当于对话的原始数据。Controller:各个ag...原创 2020-03-12 12:01:37 · 277 阅读 · 8 评论 -
词向量与Embedding之间的关系?
词向量,英文名叫Word Embedding,按照字面意思,应该是词嵌入。说到词向量,不少读者应该会立马想到Google出品的Word2Vec,大牌效应就是不一样。另外,用Keras之类的框架还有一个Embedding层,也说是将词ID映射为向量。由于先入为主的意识,大家可能就会将词向量跟Word2Vec等同起来,而反过来问“Embedding是哪种词向量?”这类问题,尤其是对于初学者来说,...转载 2020-03-10 10:55:34 · 1581 阅读 · 1 评论