DialoKG: Knowledge-Structure Aware Task-Oriented Dialogue Generation

易_

已于 2022-12-24 23:33:22 修改

阅读量261

点赞数

分类专栏： NLP 文章标签：人工智能知识图谱

于 2022-12-24 23:27:50 首次发布

本文链接：https://blog.csdn.net/hang916/article/details/128432415

版权

NLP 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

2022 NAACL
面向任务的对话生成：目的是为了实现特定的目标，如餐厅预订、酒店预订和汽车导航。
- 需要外部domain或者知识来生成信息性对话
基于知识结构感知

1. 背景

（知识蒸馏）知识库中的facts中的潜在关系没有被有效捕获
潜在知识是动态的
knowledge graph（kg）的结构信息可以提高系统的推断能力
现有works在train期间生成框架response，并用kg entity进行填充。这些works的问题：
- 无法捕获kg的潜在语义，如entity之间的关系
- 缺少endoce多域中动态knowledge的能力

2. 贡献

将关系知识视为kg，并引入结构感知的知识嵌入技术
加权kg注意力mask 策略
- 使用预训练的语言模型来计算entity权重，并估计entity对于给定话语的重要性
- 基于GCN的概念来计算关系权重
- 以上两部均考虑用户对话，获得的加权图是基于特定问题的。

3. 方法

3.1 问题定义

对话历史 $\mathcal{H}$ 、question $\mathcal{Q}$ 、knowledge base $\mathcal{G}$ → information response $S_t$ 。
$p\left(S_{t} \mid \mathcal{H}, \mathcal{Q}, \mathcal{G}\right)=\prod_{i=1}^{n} p\left(s_{i} \mid s_{1}, ., s_{i-1}, \mathcal{H}, \mathcal{Q}, \mathcal{G}\right)$

$\mathcal{H}=\left\{U_{1}, S_{1}, . ., U_{t}, S_{t}\right\}$ ， $U_i$ 和 $S_i$ 是第 $i$ 轮的序列
$\mathcal{G}=\left \{ \mathcal{T}_1, \mathcal{T}_2, \cdots, \mathcal{T}_m \right \}, \ \ \mathcal{T}= (s,r,o)$

3.2 knowledge & dialogue embedding

左部分包含图相关信息（即，主题、关系和对象）
右部分包含对话特定信息，例如对话历史 $\mathcal{H}$ 和当前用户对话 $\mathcal{Q}$

Knowledge embedding

token embedding：[S], [R]和[O]是特殊token，用于分割triple中subject, relation和object
entity embedding：embedd word token的entity级信息
Triple embedding：embedd word token的triple级信息
Type embedding：表示对应token来自kg，而不是dalogue和history

Dialogue embedding

通过[SEP]token与knowledge分开
通过[Q]token将dialogue history与question分开
Type embedding：存储来自user还是system

Position embedding

sequence中每个token的位置

3.3 Knowledge Attention Mask Construction

利用Graph Weight Computer构造加权kg

Entity Weight Estimator： $E_{\text {iw }}=L M_{\text {head }}\left(L M_{\text {enc }}\left(\left[\mathcal{Q} ; E_{i}\right]\right)\right)$
Relation Weight Estimator：用GCN方式