计划功能:
SPARK-23945(Column.isin()应该接受单列DataFrame作为输入)。
SPARK-18455(对相关子查询处理的常规支持)。
Spark 2.0+
Spark SQL应该支持相关和不相关的子查询。有关SubquerySuite详细信息,请参见。一些示例包括:
select * from l where exists (select * from r where l.a = r.c)
select * from l where not exists (select * from r where l.a = r.c)
select * from l where l.a in (select c from r)
select * from l where a not in (select c from r)
不幸的是,到目前为止(Spark 2.0)不可能使用DataFrameDSL 表达相同的逻辑。
火花<2.0
Spark在FROM子句中支持子查询(与Hive <= 0.12相同)。
SELECT col FROM (SELECT * FROM t1 WHERE bar) t2
它根本不支持该WHERE子句中的子查询。通常来说,如果不升级到笛卡尔联接,就不能使用Spark来表示任意子查询(特别是相关子查询)。
由于子查询性能通常是典型关系系统中的重要问题,并且每个子查询都可以使用JOIN此处没有函数损失的形式表示。