- 博客(2)
- 资源 (5)
- 收藏
- 关注
原创 spark升级——java.lang.NoSuchMethodError问题分析
Trouble shooting with java.lang.NoSuchMethodError Issue背景spark2.3引入了一些实用的新特性,如orc read/write optimization, bucket join with SQL, Continuous Processing等,由于业务需要使用部分新特性故筹备升级。将现网正在使用的spark版本上已经在的patch合并...
2018-09-29 21:25:38
6070
1
原创 spark性能调优 —— 为什么慢的总是“你”
Spark作业性能调优 —— 为什么慢的总是“你”背景业务高峰期,准实时(mini batch)数据处理作业的运行时间现有一些延迟,为了保证作业的SLA,必须及时对作业运行状况进行排查。异常原因排查作业层面平台采用的是spark on yarn的部署方案,故直接通过spark作业的application master url进入spark application ui; 通过...
2018-04-19 13:31:55
5487
Scala-Cookbook-recipes.for.object-oriented.and.functional.programming.zip
2019-05-27
High Performance Spark:Best Practices for Scaling and Optimizing Apache Spark
2018-11-13
Computer Systems A Programmer's Perspective 3rd.epub
2018-10-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人