补充一点记录

1、spark sql报错：Error in query: nondeterministic expressions are only allowed in。
原理：rand()等函数不能出现在join…on的后面，使用rand()函数一般解决数据倾斜的问题
如何处理：在sparksql 就直接 join on 随机值字段 。

2、杀进程：
2.1、

ps -ef | grep tomcat | grep -v "grep" | awk '{print $2}'
kill -9 $id  

2.2、推荐：在airflow页面点击指定任务，查看application号后，输入指令：yarn application -kill application_1231243523

3、hive和impala 不支持多个count(distinct filed),如 select key,count(distinct field1),count(distinct field2),...
如何处理：改写为多个子查询然后join，比如

select a.key, a.count_a, b.count_b from
(select key, count(distinct column_a) count_a from test_table group by key) a join
(