centos7 spark2.3.1集群搭建

最新推荐文章于 2024-11-05 14:55:45 发布

weixin_30514745

最新推荐文章于 2024-11-05 14:55:45 发布

阅读量75

点赞数

文章标签：大数据 java 运维

原文链接：http://www.cnblogs.com/jason-dong/p/9448812.html

版权

1.安装jdk

2.安装scala

参照jdk的安装

3.ssh 免密码登录

4.安装hadoop

以上四步请参照 centos7 安装hadoop2.7.6（分布式）

5.安装spark

1）官网下载对应版本

https://archive.apache.org/dist/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

2)解压spark-2.3.1-bin-hadoop2.7.tgz 至master 的 /usr/local

3)配置文件配置

spark-env.sh

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala-2.11.8
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=500m
export SPARK_WORKER_CORES=1
export SPARK_MASTER_HOST=ns1
export SPARK_MASTER_PORT=7077

经测试，不必配置slaves 文件，spark启动时使用了hadoop 的slaves文件

6.启动

在master上执行

sh /user/local/hadoop/sbin/start-all.sh
sh /user/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
sh /usr/local/spark-2.3.1-bin-hadoop2.7/sbin/start-all.sh

转载于:https://www.cnblogs.com/jason-dong/p/9448812.html