Apache Spark在CentOS下单节点的安装

Apache Spark在CentOS下单节点的安装

环境依赖

• CentOS7，JDK8，spark-2.4.8-bin-hadoop2.7.tgz

• 关闭防火墙

  #关闭命令
  service firewalld stop
  chkconfig firewalld off
  

• 关闭SELINUX

  #SELINUX=enforcing
  SELINUX=disabled
  

单节点安装

下载并安装Spark

• 下载地址

  https://spark.apache.org/downloads.html 选择对应版本

• 将下载的文件放入/spark文件夹下并解压

  [root@localhost spark]# tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz
  

• 将解压的文件改名

  [root@localhost spark]# mv spark-2.4.8-bin-hadoop2.7 spark2.4.8
  

修改配置文件

• 进入到conf文件路径下，将slaves.template拷贝并改名slaves

  [root@localhost conf]# cp slaves.template slaves
  

• 将spark-env.sh.template拷贝并改名spark-env.sh，并进行编辑，再最后添加如下内容

  vim spark-env.sh，如下配置路径视情况修改

  export JAVA_HOME=/usr/local/src/jdk8
  export SPARK_HOME=/spark/spark2.4.8
  export SPARK_MASTER_IP=127.0.0.1
  export SPARK_EXECUTOR_MEMORY=1G
  

• 修改环境变量 vim /etc/profile

  export JAVA_HOME=/usr/local/src/jdk8
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  export SPARK_HOME=/spark/spark2.4.8
  export PATH=${JAVA_HOME}/bin:$PATH:$SPARK_HOME/bin
  

• 保存退出后，使配置生效：

  [root@localhost conf]# source /etc/profile
  

启动单节点Spark

• 进入sbin路径，执行命令启动spark ./start-all.sh

  [root@localhost sbin]# ./start-all.sh
  

• 如提示输入密码，则需要进行ssh免密登录配置，如下

  1. 如果没有配置免密登录的话每次登录到这台服务器都要输入密码

     [root@localhost spark2.4.8]# ssh 192.168.237.128
     

  2. 在本地机器（192.168.237.128）生成私钥和公钥

     [root@localhost ~]# cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
     [root@localhost .ssh]# ssh-keygen -t rsa # 会有提示，都按回车就可以 
     [root@localhost .ssh]# cat id_rsa.pub >> authorized_keys # 加入授权
     [root@localhost .ssh]# chmod 600 ./authorized_keys # 修改文件权限
     

  3. 将公钥上传到远端机器（在此为本机）

     [root@localhost .ssh]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.237.128
     

• 启动成功，jps命令查看Master和Worker节点是否已启动

  [root@localhost sbin]# jps
  14084 Master
  14244 Jps
  14186 Worker
  

验证spark环境启动是否成功

• 浏览器输入 ip+8080端口 如：http://192.168.237.128:8080/