org.apache.spark.deploy.SparkHadoopUtil.getFSBytesReadOnThreadCallback()
最近玩 Spark 遇到几次 NoSuchMethodError (找不到对应的方法) ,主要还是版本问题。比如我在2.2.1中使用下面方式读取文件就会抛出异常:
SparkConf sparkConf = new SparkConf().setMaster("spark://fp-bd6:7077").setAppName("my");
SparkSession session = SparkSession
.builder()
.config(sparkConf)
.enableHiveSupport()
.getOrCreate();
JavaRDD<String> logRdd = session.read().textFile("xxx.log").javaRDD();
18/04/16 18:42:20 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.NoSuchMethodError: org.apache.spark.deploy.SparkHadoopUtil.getFSBytesReadOnThreadCallback()Lscala/Option;
2.2.1直接通过sparkSession无法获取,而这个方法在2.1.0其实是可以使用的。就算新版本不支持这个方法,但是通过sparkContext()就行了。
JavaRDD<String> logRdd = sparkSession.sparkContext().textFile("xxx.log", 1).toJavaRDD();
spark每个版本的变动可能大家都不会仔细了解。但遇到类似 NoSuchMethodError 错误时,想到可能是版本问题造成的,然后看官方文档修改相应API解决就好了。