spark分布式集群部署的配置文件记录和代码运行

最新推荐文章于 2024-07-17 19:12:33 发布

yayun_kg

最新推荐文章于 2024-07-17 19:12:33 发布

阅读量277

点赞数

分类专栏：大数据 spark

本文链接：https://blog.csdn.net/for_yayun/article/details/106003690

版权

大数据同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

spark

5 篇文章 0 订阅

订阅专栏

在这里插入图片描述
spark.eventLog.enabled true
spark.eventLog.dir hdfs://bigdata01:8020/spark-logs

在这里插入图片描述

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=68080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://bigdata01:8020/spark-logs"
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata01:2181,bigdata02:2181,bigdata03:2181 -Dspark.deploy.zookeeper.dir=/spark"

JAVA_HOME=/usr/java/default/
SPARK_MASTER_PORT=bigdata01
SPARK_MASTER_PORT=7077
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_CORES=1
SPARK_HISTORY_OPTS="-Dspark.history.ui.port=68080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://bigdata01:8020/spark-logs"
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata01:2181,bigdata02:2181,bigdata03:2181 -Dspark.deploy.zookeeper.dir=/spark"

代码运行和打jar包测试
在这里插入图片描述

点击 APPLY 然后。

第一次打包就是build 其次后面都是rebuild

然后我是直接将打好的jar包放在 spark安装目录下面：
在这里插入图片描述
在 Linux 环境下运行如下脚本：
[root@bigdata01 spark-2.4.0-bin]# spark-submit --master spark://bigdata01:7077 --class com.atguigu.c01.wordcount WordCount.jar