![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
elviswuhm
这个作者很懒,什么都没留下…
展开
-
spark性能调优 —— 为什么慢的总是“你”
Spark作业性能调优 —— 为什么慢的总是“你”背景业务高峰期,准实时(mini batch)数据处理作业的运行时间现有一些延迟,为了保证作业的SLA,必须及时对作业运行状况进行排查。异常原因排查作业层面平台采用的是spark on yarn的部署方案,故直接通过spark作业的application master url进入spark application ui; 通过...原创 2018-04-19 13:31:55 · 5500 阅读 · 0 评论 -
spark升级——java.lang.NoSuchMethodError问题分析
Trouble shooting with java.lang.NoSuchMethodError Issue背景spark2.3引入了一些实用的新特性,如orc read/write optimization, bucket join with SQL, Continuous Processing等,由于业务需要使用部分新特性故筹备升级。将现网正在使用的spark版本上已经在的patch合并...原创 2018-09-29 21:25:38 · 6118 阅读 · 1 评论