昨天在安装配置完Sark分布式环境后(Hadoop版本2.6.0-cdh5.7.0,Spark版本1.6.0-cdh5.7.0),使用命令start-all启动时发现Master和Worker都未能启动,使用命令start-master启动时发现Master无法启动。查看out日志文件发现还是Hadoop的classpath指定问题,修改spark-env文件后,Master可以成功启动。但是out日志文件信息提示缺少slf4j日志组建jar包,将Hadoop中的slf4j相关jar文件以及common-log4j的相关jar文件复制到Spark的lib目录下后,之前的提示虽然没有了,可是又出现了Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.Module异常提示。从网上下载jackson2.4.4版本复制到Spark的lib目录下无效,于是将jackson2.4.4也复制到Hadoop的share/hadoop/common/lib目录下,重新启动Master,成功!
关于Spark分布式安装过程中Master端启动中遇到的问题(1)
最新推荐文章于 2022-10-11 15:42:09 发布