contos 中 Spark 的安装与启动

官网：http://spark.apache.org/downloads.html

1. 安装：

tar -zxvf  spark-2.4.3-bin-hadoop2.7.tgz
#配置环境变量(vim  ~/.bashrc)：
export SPARK_HOME="/opt/spark-2.4.3-bin-hadoop2.7"
export PATH="$PATH:$SPARK_HOME"

2. #修改配置

cd  spark-2.4.3-bin-hadoop2.7
cp ./conf/spark-env.sh.template   ./conf/spark-env.sh
vim  ./conf/spark-env.sh

(spark-env.sh中最主要的是指定ip地址，如果运行的是master，就需要指定SPARK_MASTER_IP，如果准备运行driver或worker就需要指定SPARK_LOCAL_IP，要和本机的IP地址一致，否则启动不了。

有了hadoop的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据。)
配置举例如下：

export SPARK_DIST_CLASSPATH=/opt/hadoop-2.7.2/bin/hadoop
export SPARK_MASTER_IP=192.168.189.129
export SPARK_LOCAL_IP=192.168.189.129

(.conf/slaves文件为从机配置，默认为localhost)

#测试：

[root ~ lw]:# ./bin/spark-shell，看是否图案


[root ~ lw]:#./bin/pythonspark，看是否图案


[root ~ lw]:# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"


（结果：Pi is roughly 3.1392956964784826）

-------启动（一键启动所有：start-all.sh）

第一步：启动master

$SPARK_HOME/sbin/start-master.sh

第二步：启动worker

$SPARK_HOME/bin/spark-class

org.apache.spark.deploy.worker.Worker

spark://master:7077

访问：http://xxx.xxx.xxx:8081/

-------Spark application的提交和运行

查看帮助文档：

$SPARK_HOME/bin/spark-submit --help