第一、通过xftp工具将spark安装包上传到linux上
第二、解压spark到指定目录:
tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/
第三、配置
1、在spark安装路径配置spark-env.sh,我的路径是/opt/module/spark-2.1.0-bin-hadoop2.7/conf
输入命令:vi spark-env.sh,如下
export JAVA_HOME=/root/training/jdk1.7.0_75(填自己的java_home配置路径)
export SPARK_MASTER_HOST=bigdata111(填自己的主节点)
export SPARK_MASTER_PORT=7077
2、在conf文件夹下配置slaves文件,
先输入命令:cp slaves.template slaves
再输入命令:vi slaves
然后添加自己的节点域名:
我的是:bigdata111
在linux上安装spark
最新推荐文章于 2023-10-07 11:48:25 发布