最近在客户中使用spark sql 做一些表报处理,但是在做数据关联时,老是遇到 “correlated scalar subqueries must be aggregated” 错误
举一个例子,这个sql 在oracle 或者 postgresql 都是可以正常运行的,但是在spark sql 就会报错“correlated scalar subqueries must be aggregated”
SELECT A.dep_id, A.employee_id, A.age, (SELECT age FROM employee B WHERE A.dep_id = B.dep_id) max_age FROM employee A ORDER BY 1,