分析sql字段_百分点认知智能实验室出品：增强分析中的智能问答揭秘

编者按

NL2SQL是语义分析的一个子领域，它是智能问答功能的核心部分，但目前还没有成熟的可商用的技术方案。为此，百分点认知智能实验室提出结合了语义分析与深度学习的技术方案，即 X-SQL 的思路解决了该商用问题。百分点还综合利用了自然语言处理、深度学习、X-SQL、依存句法，实现了自然语言预处理、NL2SQL、图表匹配等模块，形成了一整套增强分析技术方案。该方案在实际测试中达到90.45%的准确率，且在实际使用中达到了可以商用的效果。

增强分析是指以机器学习为基础的数据分析和BI功能，包含智能数据发现、增强数据准备、增强数据分析等模块。目前增强分析已经在BI中广泛使用，Gartner 认为，到2020年，增强分析将成为新用户购买BI产品、数据科学和机器学习平台，以及嵌入式分析的主要驱动力。

通过增强分析功能，能够极大地降低用户的数据分析门槛，使一个非专业人员也能够轻松完成数据预处理和数据分析的整个分析流程。

1增强分析中的智能问答

智能问答功能是增强分析中非常重要的一个子任务，其目的是让用户能够通过一句自然语言就能自动生成对应的图表。比如，提问“2015年各地区的销售额？”系统自动就会展示出如下的结果：

在学术界，这个任务叫做 NL2SQL，目前已经有很多研究。英语环境通常采用的是WikiSQL和 Spider，而中文目前还没有统一的数据集。在 WikiSQL 数据集上，Leaderboard 中的方法都是把这个任务转化为槽值填充，然后利用深度学习的方法训练多个不同的子模型对每个槽位进行填充，比如作为SOTA模型的X-SQL。

虽然在WikiSQL 数据集上，模型的效果已经超越了人类，但是在产品化的过程中， WikiSQL过于简单，比如它只支持1个查询目标，1个聚合函数和最多4个过滤条件，不支持分组。而在实际使用中，有多个查询目标以及包含分组字段的问题比比皆是，比如“各省份的人口”，“每年的人口”，所以只是采用 X-SQL 的方法无法满足工业的需要；Spider 数据集中不仅支持对分组进行提问ÿ