Spark2.3 - 运行异常NoSuchMethodError：io.netty.buffer.PooledByteBufAllocator.metric()

一、问题说明

在一个项目中同时引入了多个框架

hbase 1.4.1
kafka 1.1.0
spark 2.3.0

在以local模型运行spark示例程序的时候，出现如下报错：

Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
	at org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
	at org.apache.spark.network.util.NettyMemoryMetrics.<init>(NettyMemoryMetrics.java:76)
	at org.apache.spark.network.client.TransportClientFactory.<init>(TransportClientFactory.java:109)
	at org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
	at org.apache.spark.rpc.netty.NettyRpcEnv.<init>(NettyRpcEnv.scala:71)
	at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
	at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
	at org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
	at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
	at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:423)
	at sql.SparkSqlMysqlDatasource$.main(SparkSqlMysqlDatasource.scala:29)
	at sql.SparkSqlMysqlDatasource.main(SparkSqlMysqlDatasource.scala)

Process finished with exit code 1

二、问题分析

在通过搜索，根据：http://www.aboutyun.com/thread-24429-1-1.html 把问题定位到，可能是依赖中存在多个版本的 netty导致程序出现NoSuchMethodError异常。

接下来使用命令mvn dependency:tree >> log/dependency.log用于分析现在程序中已有的jar包依赖，通过搜索日志文件中发现：

1.org.apache.hbase:hbase-client:jar:1.4.1:compile中包含有io.netty:netty-all:jar:4.1.8.Final:compile jar包
2.org.apache.spark:spark-core_2.11:jar:2.3.0:compile中包含有io.netty:netty:jar:3.9.9.Final:compile
初步定位就是这两个jar包导致的冲突。

我首先采用的方案是使用 <exclusions></exclusions>标签剔除 spark-core 中所有的低版本的netty，无果。

后来发现在 stackoverflow 中有人发现类似的问题：https://stackoverflow.com/questions/49137397/spark-2-3-0-netty-version-issue-nosuchmethod-io-netty-buffer-pooledbytebufalloc?utm_medium=organic&utm_source=google_rich_qa&utm_campaign=google_rich_qa

在这里面主要强调了一遍maven的传递依赖问题，https://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.html。

并且评论中的解决方法是使用<dependencyManagement></dependencyManagement>对于项目中的多版本进行管理，添加依赖如下：

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-all</artifactId>
            <version>4.1.18.Final</version>
        </dependency>
    </dependencies>
</dependencyManagement>

注： 这里的版本是根据 mvn 生成的日志文件中的 netty 的版本所确定的。

三、运行结果

在增添该配置以后，程序可以正常运行：

参考链接

https://blog.csdn.net/u011669700/article/details/80195886
https://blog.csdn.net/m0_37637511/article/details/80364391

spark相关文档

spark学习总结