我在pom.xml中设置了Apache Spark maven依赖,如下所示
org.apache.spark
spark-core_2.10
0.9.1
但我发现这个依赖使用“hadoop-client-1.0.4.jar”和“hadoop-core-1.0.4.jar”,当我运行我的程序时,我收到错误“org.apache.hadoop.ipc. RemoteException:服务器IPC版本9无法与客户端版本4“通信,这表明我需要将hadoop版本从1.0.4切换到2.2.0.
更新:
以下解决方案是解决此问题的正确方法吗?
org.apache.spark
spark-core_2.10
0.9.1
org.apache.hadoop
hadoop-core
org.apache.hadoop
hadoop-client
org.apache.hadoop
hadoop-client
2.2.0
非常感谢您的帮助.