spark的安装总结

安装容易产生的错误：

1. spark不需要设置环境变量，因为spark在/home/hadoop/spark/spark-2.3.1-bin-hadoop2.7目录下启动sbin/start-all.sh
   如果设置spark环境变量，直接启动start-all.sh 会启动hadoop的集群
2. spark集群的搭建，进行web ui master 现行aclive worker有几个工作节点，说明spark集群安装成功，当启动另一个master，sbin/start-master.sh web ui 显示的是standby，当aclive宕机的时候，standby会充当AVlive，中间会有一段小延时。
3. spark安装，需要修改的配置文件（进入conf）
   a) mv spark-env.sh.template spark-env.sh
   export JAVA_HOME=/home/hadoop/java/jdk1.8.0_73
   export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01,hadoop02,hadoop03 -Dspark.deploy.zookeeper.dir=/spark"
   export SPARK_MASTER_PORT=7077
   b) mv slaves.template slaves
   hadoop01
   hadoop02
   hadoop03

c) 将安装包scp 发送给所有安装节点
d) 启动saprk集群
在/home/hadoop/spark/spark-2.3.1-bin-hadoop2.7目录下
输入sbin/start-all.sh
e) 验证，jps查看是否有master和worker进程
或登入web ui 网页查看 ip：8080
f) 启动spark-submit 验证
~/spark/spark-2.3.1-bin-hadoop2.7/bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master spark://hadoop01:7077
–executor-memory 512m
–total-executor-cores 2
~/spark/spark-2.3.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.1.jar
100
g)

4. 搭建saprk historyServer
   a) 在conf下
   cp spark-defaults.conf.template spark-defaults.conf
   在文件里面添加如下内容：
   spark.eventLog.enabled true
   spark.eventLog.dir hdfs://ha01/sparklog
   ha01 是hadoop中namenode的hdfs-site.xml

b) 在 spark-evn.sh 的文件里面添加如下内容：
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://ha01/sparklog"
c) 在HistorServer服务之前在在hdfs中创建hdfs://myha01/sparklog
hadoop fs -mkdir -p hdfs://myha01/sparklog
创建sparklog的目录
d) 将hadoop所在目录/home/hadoop/hadoop/hadoop-2.7.6/etc/hadoop的配置文件
Hdfs-site.xml cp 到spark的conf目录中
cp hdfs-site.xml ~/spark/spark-2.3.1-bin-hadoop2.7/conf

e) 启动命令 在~/spark/spark-2.3.1-bin-hadoop2.7目录下
启动sbin/start-history-server.sh
f) 验证 访问master的ip：18080 ，例如http://hadoop02:18080/
5.在创建historyserver，一定要将hadoop的配置文件 hdfs-site.xml 复制到spark集群的conf中，并且master所在节点已经修改historyServer的配置文件