AIRSX的博客

原创 spark读取sequenceFile，用BytesWritable反序列化太慢

一.背景 线上项目运行时间比之前增加了10倍 二.分析 通过sparkHistory 观察到个别task执行较慢引起的,怀疑一下原因 1.数据倾斜,通过观察input size排除 2.上游数据问题,经沟通排除 3.磁盘问题，检查后排除 4.反序列化问题(项目正常运行了很久了都没问题，日志也没有错误) 三.原因 val visitRDD: RDD[String] = sc.se...