Spark和Hive的ANSI SQL支持情况

Spark 2.0.x支持的SQL:

-----------------

Spark SQL2003支持情况：社区目前主要是支持缺少的大功能subquery，细节功能主要是IBM的人在系统地添加（ https://issues.apache.org/jira/secure/Dashboard.jspa?selectPageId=12326761 ）。

具体缺少的2003细节功能可查看 http://www.savage.net.au/SQL/sql-2003-2.bnf.html  中的BNF文档

6 Scalar expressions
7 Query expressions
8 Predicates
10 Additional common elements

这几个关于查询的语法的章节内容逐个对照语法来确认缺少的SQL支持。

Spark的语法支持稍滞后于Hive的支持。Hive的目前活跃的SQL支持主要在这些功能 https://issues.apache.org/jira/browse/HIVE-13554

Hive支持的SQL：
-----------------
1.支持66个tpc-ds测例。
2.支持主要的sql2003功能：
<1>基本subquery有，缺失的稍复杂的subquery的功能如在and/or中出现的multi-subquery, 在select子句中的in/exist/correlated subquery，scalar subquery values可出现在value expression primary语句能出现的所有位置，在不等谓词条件中的subquery in comparison predicate这些细节功能意识到了还在添加，主要是hortonworks的工程师在做，但社区添加速度不快。
<2>缺失的non-equi join功能社区没确定是否添加
<3>缺失的集合功能Intersect (distinct/all) Except (distinct/all) Minus (distinct/all)已添加还没发布
3.sql2011兼容：基本都还是sql2003的内容，没有涉及sql2011的核心的时态temporal查询功能。

参考：

1. https://github.com/apache/spark/pull/10509    inline hive资料，spark中去掉hive parser依赖
2. http://www.spark.tc/the-arrival-of-apache-spark-2-0-2/   IBM spark technology center的贡献
3. http://zh.hortonworks.com/blog/stinger-next-enterprise-sql-hadoop-scale-apache-hive/   hortonwork对hive的改进思路