【P10】Bridging Textual and Tabular Data for Cross-Domain Text-to-SQL Semantic Parsing

Findings of EMNLP 2020
Implementation：https://github.com/salesforce/TabularSemanticParsing

Abstract

1 Introduction

针对不同的数据库（DB），近似的自然语言表达生成的 SQL 可能十分不同。因此，跨数据库 text-to-SQL 语义解析器不能仅简单地记住所看到的 SQL 模式，而是必须准确地建模自然语言问题、目标数据库结构以及两者的上下文。

最先进的跨数据库 text-to-SQL 语义解析器采用以下设计原则：

1. 问题和模式（schema）表示相互关联；
2. BERT等预训练模型可以通过增强对自然语言变化的泛化和捕捉长期依赖关系，显著提高解析准确性；
3. 在数据隐私允许的范围内，利用可用的 DB 内容可以提高对 DB 的理解。

本文介绍了 text-DB 编码框架 BRIDGE，它整合了上述三个设计原则。

1. 将关系数据库模式表示为串接在问题后的标记序列，用 BERT 和后续两个单层双向 LSTM 编码混合标记序列。每个模式组件（表或字段）仅使用混合序列中其特殊标记对应的隐藏状态来表示。
2. BRIDGE用锚文本扩展了混合序列，锚文本自动提取问题中提到的DB单元值，隐式地实现 text-DB 对齐。

结合 pointer-generator 解码器和 schema-consistency driven search space pruning（模式一致性驱动的搜索空间修剪），取得了和 SOTA 相当的性能：

benchmark	dev	test
Spider（ensemble model）	71.1%	67.5%
WikiSQL	92.6%	91.9%

1通过深入的模型比较和错误分析，我们表明所提出的架构对于概括自然语言变化和记忆结构模式是有效的，但在组合概括方面存在困难，并且缺乏可解释性。这使我们得出结论，跨领域的文本到sql仍然提出了许多未解决的挑战，需要模型在训练数据经常稀少的情况下，对自然语言变化和结构组合进行泛化。

2 Model

BRIDGE模型——结合了基于BERT的编码器和顺序 pointer-generator，以执行端到端 cross-DB text-to-SQL 语义解析。

2.1 Problem Definition

给定自然语言问题 Q 和关系型数据库的模式（schema）$\mathcal{S}=⟨\mathcal{T},C⟩$，解析器需要生成相应的 SQL 查询$Y$。

一个数据库中可能包含很多张表（tables），一张表又包含多个字段（fields），所以 T = { t 1 , … , t N } \mathcal{T}=\left\{t_{1}, \ldots, t_{N}\right\} T={t1​,…,tN​} ，$C=\left\{c_{11},\dots ,c_{1|T_1|},\dots ,c_{n1},\dots ,c_{N|T_N|}\right\}$ 。每张表的表名和字段名都是文本字符。表中的字段可能有主键、外键，同时字段有不同的数据类型。

最新方法表明访问数据库内容可以显着提高系统性能。但为保护隐私，模型仅可以访问每个字段的值集（value set），而不是整个数据库的内容。 把这些 value sets 叫做 picklists。

2.2 Question-Schema Serialization and Encoding

如图，作者将Q和S拼接为一个混合的问题-模式序列，作为编码器的输入：
$$\begin{array}{rl}X=& [\mathrm{C}\mathrm{L}\mathrm{S}],Q,[\mathrm{S}\mathrm{E}\mathrm{P}],[\mathrm{T}],t_1,[\mathrm{C}],c_{11}\dots ,c_{1\mid T_1\mid }\\ & [\mathrm{T}],t_2,[\mathrm{C}],c_{21},\dots ,[\mathrm{C}],c_{N|T_N|},[\mathrm{S}\mathrm{E}\mathrm{P}]\end{array}$$
每个表名前面都有特殊标记[T]，每个字段名前面都有[C]。

• $X$首先输入BERT，随后经过一层Bi-LSTM获得序列的初始编码表示$h_X$。
• $h_X$中的问题片段继续通过一层Bi-LSTM获得Q的最终编码$h_Q$ 。
• 每个表/字段使用对应于其特殊标记 [T] / [C] 的$h_X$切片表示。

Meta-data Features

相比于表名，字段名多了主键、外键等属性。为了利用这些特征（meta-data），论文中用了一层前馈网络（$g\left({\mathbb{R}}^{4n}\to {\mathbb{R}}^n\right)$）对表名、字段名进一步编码。
$$\begin{array}{rl}{\mathbf{h}}_S^{t_i}& =g\left(\left[{\mathbf{h}}_{\mathrm{X}}^p;0;0;0\right]\right)\\ {\mathbf{h}}_S^{c_{ij}}& =g\left(\left[{\mathbf{h}}_{\mathrm{X}}^q;{\mathbf{f}}_{\mathrm{p}\mathrm{r}\mathrm{i}}^u;{\mathbf{f}}_{\mathrm{f}\mathrm{o}\mathrm{r}}^v;{\mathbf{f}}_{\mathrm{t}\mathrm{y}\mathrm{p}\mathrm{e}}^w\right]\right)\\ & =\mathrm{ReLU}\left({\mathbf{W}}_g\left[{\mathbf{h}}_{\mathrm{X}}^m;{\mathbf{f}}_{\mathrm{p}\mathrm{r}\mathrm{i}}^u;{\mathbf{f}}_{\mathrm{f}\mathrm{o}\mathrm{r}}^v;{\mathbf{f}}_{\mathrm{t}\mathrm{y}\mathrm{p}\mathrm{e}}^w\right]+{\mathbf{b}}_g\right)\\ {\mathbf{h}}_S& =\left[{\mathbf{h}}^{t_1},\dots ,{\mathbf{h}}^{t|\mathcal{T}|},{\mathbf{h}}^{c_{11}},\dots ,{\mathbf{h}}^{c_{N|T_N|}}\right]\in {\mathbb{R}}^{|\mathcal{S}|\times n},\end{array}$$

• 表名：表名没有额外特征，后三个维度均用零向量替代。
• 字段名：这里的$f_{pri},f_{for},f_{type}$分别表示各个字段的主键、外键、类型特征， ${\mathbf{h}}_{\mathrm{X}}^q$表示字段特征。将4个向量横向顺序拼接。
• 各个表名、字段名都进行 g 函数转化，纵向拼接得到模式（schema）的最终编码 。

2.3 Bridging

仅对表名/字段名及其关系进行建模并不足以捕捉模式（schema）的语义及其与Question的依赖关系，即缺少 Q 和 S 的交互。

• 解决方法：使用锚文本（anchor text）将问题 Q 中包含的值提及（value mentions）与数据库字段（DB fields）链接起来。锚文本为BERT提供了其他词汇线索，来标识Q中的相应提及（mentions）。

• 具体实现：将问题 Q 中的每一个 token，与数据库表中每一列的所有 value 值进行字符串模糊匹配，匹配上的 value 值将被插入到序列 X 中（在相应的字段名称之后，并由特殊标记[V]分隔）。
  

• 举例：
  
  如图，问题 Q 和表格“Properties”、“Reference Property Types”相关联。其中 Q 包含的两个单词“houses”和“apartments”与两张表中的同名字段“Property type code”有重合单元值。

  字段名“Property type code”本身没有在问题Q中出现，若让模型直接推理出“houses”、“apartments”和“Property type code”相关，难度很大。

2.4 Decoder

解码器的目的是从编码特征中还原出相应SQL。

相比于前人的工作（RAT-SQL、IRNet等），BRIDGE解码器设计非常简洁，仅使用了一层带多头注意力机制的 LSTM pointer-generator 网络。

在每一个step中，解码器从如下动作中选择1种：

1. 从词汇表 V 中选择一个token（SQL关键字）
2. 从问题 Q 中复制一个token
3. 从模式 S 中复制一个组件（字段名、表名、单元值）

从数学定义上分析，在每一个时刻$t$ ，给定解码状态$s_t$和编码表示 $\left[{\mathbf{h}}_Q;{\mathbf{h}}_S\right]\in$ ${\mathbb{R}}^{(|Q|+|S|)\times n}$,按照[4]中的方式计算多头注意力：
$$\begin{array}{l}{e}_{tj}^{(h)}=\frac{{\mathbf{s}}_t{W}_U^{(h)}{\left({\mathbf{h}}_j{W}_V^{(h)}\right)}^{\top }}{\sqrt{n/H}};{\alpha }_{tj}^{(h)}={\mathrm{softmax}}_j\left\{e_{tj}^{(h)}\right\}\\ {\mathbf{z}}_t^{(h)}={\sum }_{j=1}^{|Q|+|\mathcal{S}|}{\alpha }_{tj}^{(h)}\left({\mathbf{h}}_j{W}_V^{(h)}\right);z_t=\left[z_t^{(1)};\cdots ;z_t^{(H)}\right]\end{array}$$
其中$h\in [1，。。。，H]$是头数，$H$是总头数。 ${\alpha }_{tj}^{(h)}$表示从 Q 或 S 中复制相应 token 加入当前解码结果的权重。

解码由$V$产生（即上述解码器动作1）的概率为：
$$\begin{array}{l}{p}_{\mathrm{g}\mathrm{e}\mathrm{n}}^t=\mathrm{sigmoid}\left(s_t{W}_{\mathrm{g}\mathrm{e}\mathrm{n}}^s+z_t{W}_{\mathrm{g}\mathrm{e}\mathrm{n}}^z+b_{\mathrm{g}\mathrm{e}\mathrm{n}}\right)\end{array}$$
总的输出分布为：
$$p_{\mathrm{o}\mathrm{u}\mathrm{t}}^t=p_{\mathrm{g}\mathrm{e}\mathrm{n}}^t{P}_{\mathcal{V}}\left(y_t\right)+\left(1-p_{\mathrm{g}\mathrm{e}\mathrm{n}}^t\right)\sum _{j:{\tilde{X}}_j=y_t}{\alpha }_{tj}^{(H)},$$
其中，$P_{\mathcal{V}}\left(y_t\right)$是 softmax LSTM 的输出分布， ${\tilde{X}}_j$是长度为$(|Q|+|\mathcal{S}|)$的序列，其只包含$X$中的 question words 和特殊标记[T]、[C]。

2.5 Schema-Consistency Guided Decoding

3 Related work

4 Experimental Setup

4.1 Dataset

4.2 Evaluation Metrics

4.3 Implementation details

5 Results

5.1 End-to-end Performance Evaluation

5.1.1 Spider

5.1.2 WikiSQL

5.2 Ablation Study

5.3 Error Analysis

5.3.1 Manual Evaluation

5.3.2 Qualitative Analysis

6 Conclusion

当数据充足而目标逻辑形式较浅时，sequence-to-sequence 模型是跨数据库语义解析的良好选择，实现更容易且解码效率更高。

后续计划：

1. 进一步改进模型的组合泛化（compositional generalization）和可解释性。
2. 研究BRIDGE的扩展应用，这些任务需要结合文本和表格的理解，如弱监督的语义分析和事实检查。