Spark在本地运行与集群运行时出现Elasticsearch连接失败问题，原因是Spark默认加载的guava-14.0.1.jar与Elasticsearch所需的guava-18.0.jar版本冲突。解决办法包括在每个Spark节点上部署guava-18.0.jar，并在spark-submit时指定加载该版本的guava jar。通过设置额外的ClassPath和LibraryPath参数，成功避免了NoClassDefFoundError。建议使用独立的依赖包提交方式以优化jar大小。
Spark集成Elasticsearch，在local下正常运行，提交到集群运行jar出现异常：
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0 (TID 10, 172.16.14.32): java.lang.NoClassDefFoundError: Could not initialize class org.elasticsearch.threadpool.ThreadPool
经定位，发现是由于spark集群运行时默认加载$spark_home/jars下的guava-14.0.1.jar版本的包,而Elasticsearch使用的是guava-18.0.jar版本,提交到集群运行时，guava-14.0.1.jar版本覆盖掉了Elasticsearch中的guava-18.0.jar版本，造成java.lang.NoClassDefFoundError: Could not initialize class org.elasticsearch.threadpool.ThreadPool 异常。
解决方式参考：https://blog.csdn.net/u010454030/article/details/70054822
博主所写的资料
1
最低0.47元/天 解锁文章
2518
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
