自然语言处理
文章平均质量分 82
Adupanfei
这个作者很懒,什么都没留下…
展开
-
NLP数据增强方法
NLP中的数据是离散的。它的后果是我们无法对输入数据进行直接简单地转换,而大多数CV工具则没有这个限制,如domain randomization。小的扰动可能会改变含义。在NLP中,删掉一个否定词可能会改变整个句子的情绪,而修改一段话中的某个词甚至会改变语意。但CV不存在这种情况,不论图像中的是猫还是狗,扰动单个像素一般不会影响模型预测,甚至都不会出现明显变化,如插值就是一种有效的图像处理技...原创 2018-12-11 16:00:06 · 8003 阅读 · 0 评论 -
Transformer架构--Attention is all you need
深度学习做NLP的方法,基本上都是先将句子分词,然后每个词转化为对应的词向量序列。这样一来,每个句子都对应的是一个矩阵X=(x1,x2,…,xt),其中xi都代表着第i个词的词向量(行向量),维度为d维,故X∈Rn×d。这样的话,问题就变成了编码这些序列了。RNN层第一个基本的思路是RNN层,RNN的方案很简单,递归式进行:yt=f(yt−1,xt)不管是已经被广泛使用的LSTM、GRU还...原创 2018-12-21 15:46:44 · 904 阅读 · 0 评论 -
对话模型-改写式回复生成模型-Response Generation by Context-aware Prototype Editing
文章目录介绍整体架构Prototype SelectorContext-Aware Neural Editor结果介绍AAAI-2019上下文敏感的改写式回复生成模型。在这个工作中,吴俣等人提出了一个新的范式:“先检索,后改写”,用于回复生成。在该框架中,首先利用检索式聊天机器人检索一个回复(原型),之后根据该回复原本的上下文和当前上下文之间的差异来改写此回复。这种新的范式不仅继承了检索式聊...原创 2019-01-20 21:15:01 · 2127 阅读 · 0 评论