linux 安装hadoop3.2.1基础上安装spark3.0.1

最新推荐文章于 2024-07-23 22:45:12 发布

仰下

最新推荐文章于 2024-07-23 22:45:12 发布

阅读量602

点赞数

分类专栏：踩坑

本文链接：https://blog.csdn.net/weixin_44419639/article/details/113374837

版权

参考文章一
 参考文章二

先安装完hadoop3.2.1之后，再安装的spark，基于上面的参考安装，spark要依赖scala，然后配置环境

坑一：ssh权限问题
生成的密钥文件无法修改chattr -ia ~/.ssh/authorized_keys移除无法修改的属性，chmod加权

**坑二：安装完成之后,运行spark-all出现
Unable to initialize main class org.apache.spark.deploy.master.Master
Caused By: java.lang.NoClassDefFoundError: org/apache/log4j/Logger
**
在/etc/profile添加export SPARK_DIST_CLASSPATH=$(/mytool/hadoop/hadoop-3.2.1/bin/hadoop classpath)
也有文章说可以在spark-env.sh 添加

最终的profile配置

# java environment
export JAVA_HOME=/mytool/java/jdk-15.0.1
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
#expo