Spark学习笔记1. 伪分布式&全分布式环境搭建

最新推荐文章于 2024-03-07 16:32:31 发布

aimmon

最新推荐文章于 2024-03-07 16:32:31 发布

阅读量570

点赞数

分类专栏： Spark 文章标签： spark 全分布式伪分布式环境搭建

本文链接：https://blog.csdn.net/u013985879/article/details/83005934

版权

Spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

安装Linux、JDK等等
解压：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/
由于Spark的脚本命令和Hadoop有冲突，只设置一个即可（不能同时设置）
配置文件：/root/training/spark-2.1.0-bin-hadoop2.7/conf/spark-env.sh
/root/training/spark-2.1.0-bin-hadoop2.7/conf/slaves

（1）伪分布： bigdata11
    spark-env.sh
        export JAVA_HOME=/root/training/jdk1.8.0_144
        export SPARK_MASTER_HOST=bigdata11
        export SPARK_MASTER_PORT=7077

slaves
bigdata111

    启动：sbin/start-all.sh
    Spark Web Console（内置Tomcat：8080） http://ip:8080

（2）全分布：三台
     Master节点： bigdata12
     Worker从节点：bigdata13 bigdata14
    spark-env.sh
        export JAVA_HOME=/root/training/jdk1.8.0_144
        export SPARK_MASTER_HOST=bigdata112
        export SPARK_MASTER_PORT=7077

    slaves
        bigdata13
        bigdata14

    复制到从节点上
        scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata13:/root/training
        scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata14:/root/training

    在主节点上启动: sbin/start-all.sh

注意:

全分布式环境时,slaves.template 务必重命名一份slaves,在slaves 编辑从节点地址,不然全分布式环境搭建失败.(来自血淋淋的教训)