Java - MR 读写 orc 之 NoSuchMethodError: hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()

一.引言

上一篇文章提到了 Java map-reduce 如何单独读取 ORC 文件以及 RcFile 文件，在同一个 MR 任务下分别读取 RcFile 以及 ORC 文件时，报如下错误: java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I。完整的异常栈如下:

2022-04-20 06:44:47,326 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I
 at org.apache.orc.impl.RecordReaderImpl.nextBatch(RecordReaderImpl.java:1093)
 at org.apache.orc.mapreduce.OrcMapreduceRecordReader.ensureBatch(OrcMapreduceRecordReader.java:69)
 at org.apache.orc.mapreduce.OrcMapreduceRecordReader.nextKeyValue(OrcMapreduceRecordReader.java:87)
 at org.apache.hadoop.mapreduce.lib.input.DelegatingRecordReader.nextKeyValue(DelegatingRecordReader.java:89)
 at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556)
 at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)
 at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)
 at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
 at org.apache.hadoop.mapreduce.lib.input.DelegatingMapper.run(DelegatingMapper.java:55)
 at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
 at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
 at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:243)
 at java.security.AccessController.doPrivileged(Native Method)
 at javax.security.auth.Subject.doAs(Subject.java:422)
 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1726)
 at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:237)

其中 orc map-reduce 依赖为:

        <dependency>
            <groupId>org.apache.orc</groupId>
            <artifactId>orc-mapreduce</artifactId>
            <version>1.1.0</version>
        </dependency>

二.问题分析与解决

1.是否拥有该方法

noSuchMethod 错误首先需要判断是否确实没有该方法，由于之前很多次遇到 noSuchMethod 都是依赖冲突，所以总是上来就按依赖冲突解决，其实很多时候确实是没有该依赖，只需要增加 pom 即可解决。所以查看项目依赖中是否包含 org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I 该方法，检查后发现对应 VectorizedRowBatch 类下无 getMaxSize 方法，所以验证了上面的想法，说明需要引入新的依赖。

Tips:

这里简单说下 getMaxSize()I 这个方法最后面 I 的含义，最后面 I 的含义为该方法对应的返回值，上面报错的第一行其实就是完整的 java 函数签名，转换一下：

Int org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize();

除了 I 之外，常见的还有如下返回值签名:

Z	boolean
B	byte
C	char
S	short
I	int
J	long
F	float
D	double
L fully-qualified-class	fully-qualified-class
[ type	type[]
( arg-types ) ret-type	method type
<init>	构造方法
<cinit>	静态类初始化代码

2.寻找对应方法的 jar 包

上述 VectorizedRowBatch 类来源于 hive-exec 依赖，该依赖 VectorizedRowBatch 类不包含 getMaxSize()I 方法，所以顺着回去找读取 orc 文件时其内部用到的类来自哪个依赖:

首先根据异常栈第三行找到调用该类的 class 以及其对应的 import 

然后调出快捷搜索框搜索 VectorizedRowBatch:

这下找到了，该方法真实调用的 org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch 方法来源于 hive-storage-api-2.8.1 版本 :

果断加入该依赖重新打包尝试~ 

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-storage-api</artifactId>
            <version>2.8.1</version>
        </dependency>

执行后发现依然报错 o(╥﹏╥)o

java.lang.NoSuchMethodError: org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch.getMaxSize()I

3.jar包依赖冲突

之前提到过 noSuchMethod 的几种常见可能:

A.无该 method，引入 pom 依赖解决

B.多 package 拥有该 method，但版本不同，统一版本解决

C.多 package 拥有该 method，签名不同，去除或 exclude 错误 jar 解决

这里属于类型 D，多 jar 包拥有父类，但不都包含对应 method，所以运行继续报错 noSuchMethod，由于读取 rcFile 需要用到 hive-exec 包所以不能按照上面 B,C 的解决方法删除掉该 jar 包，这时候需要用到 maven 依赖的优先级，maven 打包根据 pom 的放置顺序采用最短路径调用，即取最靠上方的依赖，所以这里把 hive-storage-api 依赖挪到 orc-mapreduce 和 hive-exec 上面，读取 orcFile 时优先调用 hive-storage-api 的 VectorizedRowBatch.getMaxSize()，读取 rcFile 和其他文件时，不使用该方法所以忽略，继续调用后续 pom 依赖:

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-storage-api</artifactId>
            <version>2.8.1</version>
        </dependency>
        
        <dependency>
            <groupId>org.apache.orc</groupId>
            <artifactId>orc-mapreduce</artifactId>
            <version>1.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.13.0</version>
        </dependency>

这里简单总结下上面的情况:

D.多 package 拥有父类，但只有一个 package 父类拥有对应方法，调整 pom 依赖顺序解决

再次打包尝试任务终于正常运行 🕶

22/04/20 14:26:59 INFO mapreduce.Job: map 100% reduce 90%
22/04/20 14:27:06 INFO mapreduce.Job: map 100% reduce 91%
22/04/20 14:27:12 INFO mapreduce.Job: map 100% reduce 92%
22/04/20 14:27:18 INFO mapreduce.Job: map 100% reduce 93%
22/04/20 14:27:25 INFO mapreduce.Job: map 100% reduce 94%
22/04/20 14:27:32 INFO mapreduce.Job: map 100% reduce 95%
22/04/20 14:27:40 INFO mapreduce.Job: map 100% reduce 96%
22/04/20 14:27:49 INFO mapreduce.Job: map 100% reduce 97%
22/04/20 14:28:01 INFO mapreduce.Job: map 100% reduce 98%
22/04/20 14:28:15 INFO mapreduce.Job: map 100% reduce 99%
22/04/20 14:28:46 INFO mapreduce.Job: map 100% reduce 100%
22/04/20 14:30:23 INFO mapreduce.Job: Job job_xxx completed successfully

三.总结

开发总是遇到 noSuchMethod，而且还是不同类型，只能通过慢慢积累，根据其异常栈一步一步回看源码和原始 jar 才能解决，bug 无止境呀~