NLP进阶之(三)Chatbot进阶之TA-Seq2Seq之《Topic Aware Neural Response Generation》

本文介绍了《Topic Aware Neural Response Generation》论文,旨在提升聊天机器人的回复质量。TA-Seq2Seq模型基于Seq2Seq,通过LDA主题模型预测输入句子的主题,再结合主题生成回复。在Decoder阶段,采用联合注意力机制,让回复与输入和主题更加相关,从而提高生成的对话质量。
摘要由CSDN通过智能技术生成

1. TA-Seq2Seq简介

《Topic Aware Neural Response Generation》为2017年AAAI论文,论文的目的是让聊天机器人的回复更加具有营养,例如下面的场景,我们的Chatbot要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复,而是可以给出一些建议和方案等:
在这里插入图片描述

问题输入:“现在”、“我”、“在”、“努力学习”、“英文”、“,”、“我”、“想”、“成为”、“一名”、“翻译”、“。”

主题判断:WordEmbedding-> LDA Topic Words -> 工作

回输出:“嗯”、“,”、“你”、“是”、“大有”、“前途”、“的”、“。”、“追逐”、“你”、“的”、“梦想”、“,”、“永不”、“放弃”、“。”

1.1 模型回顾

论文的具体思路是输入句子后,先预测句子所在的topics,再根据 topics 生成回复。文章中通过建立 topic aware sequence-to-sequence (TA-Seq2Seq) 模型来实现这个过程。
在这里插入图片描述
TA-Seq2Seq 建立于Seq2Seq基础上,再加上一个联合注意力机制

1.2 Seq2Seq

Seq2Seq是个Encoder-Decoder结构,两部分都是RNN模型,RNN可以选择LSTM或者 GRU,目的是要最大化条件概率函数,其中cEncoder所编码输出的隐藏层向量。
P ( y 1 , … , y T ′ ∣ x 1 , … , x T ) = ∏ t ′ = 1 T ′ P ( y t ′ ∣ y 1 , … , y t ′ − 1 , x 1 , … , x T ) = ∏ t ′ = 1 T ′ P ( y t ′ ∣ y 1 , … , y t ′ − 1 , c ) , \begin{aligned} \mathbb{P}(y_1, \ldots, y_{T'} \mid x_1, \ldots, x_T) &= \prod_{t'=1}^{T'} \mathbb{P}(y_{t'} \mid y_1, \ldots, y_{t'-1}, x_1, \ldots, x_T)\\ &= \prod_{t'=1}^{T'} \mathbb{P}(y_{t'} \mid y_1, \ldots, y_{t'-1}, \boldsymbol{c}), \end{aligned} P(y1,,yTx1,,xT)=t=1TP(yty1,,yt1,x1,,xT)=t=1TP(yty1,,yt1,c),
并得到该输出序列的损失

− log ⁡ P ( y 1 , … , y T ′ ∣ x 1 , … , x T ) = − ∑ t ′ = 1 T ′ log ⁡ P ( y t ′ ∣ y 1 , … ,

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值