本文结构:
-
模型效果
-
模型的三个模块
-
模块细节
今天的论文是 《Assigning Personality/Identity to a Chatting Machine for Coherent Conversation Generation》
https://arxiv.org/pdf/1706.02861.pdf
当我们在和聊天机器人互动时,最开始往往很好奇的就是对方到底是人还是机器人呢,所以会问到一些关于对方身份的问题,这对于机器人能否通过图灵测试还是很重要的问题之一。
这篇论文提前预设好机器人的身份档案,并且做到在相关的问答中做到与设置的一致,就可以让机器人在回答时能够有一定的身份特征。和其他的区别是不用从对话中慢慢学习出个性。
模型效果:
假设机器人的预设档案为:
本论文的模型与普通的 seq2seq 效果比较为:
模型由三个模块组成:
-
一个档案检测器 Profile Detector,一是来决定是否要根据档案来回答,二是根据哪个关键字答复。
-
一个双向解码器 Bidirectional Decoder,用于从选定的档案值出发向前和向后生成答复。
-
一个位置检测器 position detector,用于预测选定的档案值后要从哪个位置开始解码,把位置传递给 decoder。
整体:
-
给定一个提问后,先看是否需要用档案内容回答,不需要的话,就用通常的 seq2seq 来生成回复;
需要的话,先用 Profile Detector 选择合适的 key-value。 -
然后用 Bidirectional Decoder 以这个 value 为起点向前向后生成答复。
-
position detector 用来改善 training,test 集的差异问题,只在模型训练时用。
模型细节:
提问:x = x1x2···xn
, 被 Encoder 将 post 转化后的向量 x = x1x2 · · · xn
。x 的隐藏层状态由 GRU 获得 h = (h1, h2, · · ·, hn)
。
档案:{< ki, vi > |i = 1, 2, · · · , K}
回答:y=y1y2···ym
问题建模:
1. Profile Detector
1. 其中 P(z|x)
是根据提问 x,看需要用档案来回答的概率,由 Profile Detector 计算出。
由训练的二分类器得到 P (z|x) = P (z| h~) = σ(Wp h~)
,h~ 是所有 hj 的和,Wp 是分类器的参数。
βi = MLP([ h~, ki, vi]) =f(W ·[ h~;ki;vi])
,用来决定根据哪个关键字答复,其中 f 为 softmax 激活函数,选择概率最大的那一组 key-value。
2. Bidirectional Decoder:
2. Pfr(y|x)
是根据 x 生成 y,由通常的 forward decoder 生成。
3. Pbi(y|x, {< ki, vi >})
是根据 x 和档案生成 y,由 Bidirectional Decoder 生成:
即 y = (yb, v~, yf )
为生成的回复,v~ 是选中的 value:
先由 x,v~ 得到 yb,再由 x,v~,yb 得到 yf。
Pb,Pf
通过下式计算:
其中 sj
是 decoder 的相应状态,cj
是语境的向量:
P fr
和 P bi
的参数不是共享的。
3. position detector:
因为用于训练的问答句是从社交网站上获得的,前面识别出来的 value 可能并不会出现在答复中,这样 bidirectional decoder 就会不知道从哪个位置开始,所以在这一步会做相关的处理。
例如,
post x =“你-1 有-2 什么-3 特长-4 ?-5
response y =“我-1 非常-2 擅长-3 小提琴- 4
a profile key value pair “<特长, 钢琴>
那么 “小 提 琴-4 ” 的位置会传递给 decoder,然后替换成“钢 琴”。
用 P (j|y1y2 · · · ym, < k, v > )), 1 ≤ j ≤ m
来表示 yj 可以被 v 替换的概率。
计算方法用两个单词的距离:
P(j|y,< k,v >)) ∝ cos(yj,v)
损失函数:
由两部分组成:
L = L1 + αL2
1. L1 是生成答复的,根据最开始的问题模型可以得到:
D( c) 是只有 post-response 对的,D(pr) 是 post,value-response 的。
2. L2 是 profile detector 预测是否用档案及用哪个关键词的,根据前面定义过的 P(z|x)
和 βi
:
z=0 不用,z=1 用, k^ 是锁定的 key。
推荐 阅读原文
也许可以找到你想要的:
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]