Spark的安装和测试

最新推荐文章于 2024-12-21 13:28:00 发布

IT影风

最新推荐文章于 2024-12-21 13:28:00 发布

阅读量4.5k

点赞数

文章标签： Spark Linux Yarn 内存计算 DAG

本文链接：https://blog.csdn.net/afafawfaf/article/details/80951758

版权

本文档详细介绍了在Linux环境下，如何安装与测试Spark的单机模式、Standalone集群模式、Standalone高可用（HA）模式以及Yarn集群模式。在不同模式下，包括了解压安装、配置环境变量、启动集群、进行Client和Cluster模式的测试，以及检查运行状态等步骤。

摘要由CSDN通过智能技术生成

部署是环境为3台服务器，里面安装了相关的hadoop集群，安装的spark1.6.3

总共分为如下安装方式

1，单机模式测试安装

2，Standalone集群模式

3，Standalone集群HA模式

4，Yarn集群模式

一，单机模式测试安装

1，解压安装包

[root@hadoop01 bigdata]# pwd
/home/tools/bigdata
[root@hadoop01 bigdata]# tar -zxvf spark-1.6.3-bin-hadoop2.4.tgz -C /home/bigdata/

2，配置环境变量

vi /etc/profile
export SPARK_HOME=/home/bigdata/spark-1.6.3-bin-hadoop2.4
export PATH=$SPARK_HOME/bin:$PATH

source /etc/profile

3，测试

root@hadoop01 lib]# cd /home/bigdata/spark-1.6.3-bin-hadoop2.4/lib/
[root@hadoop01 lib]# spark-submit --class org.apache.spark.examples.SparkPi --master local[*] spark-examples-1.6.3-hadoop2.4.0.jar 100

测试结果

18/07/07 15:36:52 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:36, took 3.541017 s
Pi is roughly 3.1416247141624716
18/07/07 15:36:52 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/metrics/json,null}

二，Standalone集群模式

1，配置slaves

[root@hadoop01 conf]# cd /home/bigdata/spark-1.6.3-bin-hadoop2.4/conf/
[root@hadoop01 conf]# cp slaves.template slaves
[root@hadoop01 conf]# vi slaves
hadoop01
hadoop02
hadoop03

2，配置spark-env.sh

[root@hadoop01 conf]# cp spark-env.sh.template spark-env.sh
[root@hadoop01 conf]# vi spark-env.sh
export JAVA_

最低0.47元/天解锁文章