select报错 spark_SparkSQL是否支持子查询？

计划功能：

SPARK-23945(Column.isin()应该接受单列DataFrame作为输入)。

SPARK-18455(对相关子查询处理的常规支持)。

Spark 2.0+

Spark SQL应该支持相关和不相关的子查询。有关SubquerySuite详细信息，请参见。一些示例包括：

select * from l where exists (select * from r where l.a = r.c)

select * from l where not exists (select * from r where l.a = r.c)

select * from l where l.a in (select c from r)

select * from l where a not in (select c from r)

不幸的是，到目前为止(Spark 2.0)不可能使用DataFrameDSL 表达相同的逻辑。

火花<2.0

Spark在FROM子句中支持子查询(与Hive <= 0.12相同)。

SELECT col FROM (SELECT *  FROM t1 WHERE bar) t2

它根本不支持该WHERE子句中的子查询。通常来说，如果不升级到笛卡尔联接，就不能使用Spark来表示任意子查询(特别是相关子查询)。

由于子查询性能通常是典型关系系统中的重要问题，并且每个子查询都可以使用JOIN此处没有函数损失的形式表示。