-
设置配置文件
$SPARK_HOME/conf/spark-env.sh
$ cd $SPARK_HOME/conf $ cp spark-env.sh.template spark-env.sh $ vim spark-env.sh
打开后搜索
standalone
关键字,如图所示:
添加以下内容,保存后退出SPARK_MASTER_HOST=hlsijx SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=1g
-
启动Spark
$ cd ../sbin/ $ ./start-all.sh
此时可能会报“JAVA_HOME is not set”的错误,那就需要在sbin的目录下的spark-config.sh 文件下添加JAVE_HOME :export JAVA_HOME=/data/jdk1.8.0_111
启动完成后如下图所示
-
执行任务
$ cd $SPARK_HOME/bin $ spark-shell --master spark://hlsijx:7077
执行完成后,可以通过http://ip:8080访问页面来查看执行情况
Spark Standlone模式环境搭建
最新推荐文章于 2024-09-30 00:00:00 发布