spark
关注
分享
扫一扫
大象灵感
写sql的
展开
-
greatest()遇到null怎么处理？
greatest(1,null) spark和hive跑出来的结果不一样，小心有坑！！！greatest在spark中如果遇到null值是被忽略的，但是在hive中直接就返回null了。原创 2021-09-28 20:33:43 · 1726 阅读 · 0 评论 -
SparkUI怎么看—Stage指标汇总
SparkUI是spark任务的重要工具，这里能看到spark任务的运行状态到底是如何的，它能给我们的调优工作提供大部分的线索。下面是一个spark任务在map、shuffle、reduce三个阶段的典型情况，供参考：Map Stage：Shuffle Stage：Reduce Stage：...原创 2021-08-29 14:44:32 · 1469 阅读 · 0 评论