SPARK环境搭建

一、Spark集群部署

1.解压:
[ ] tar -zxvf /root/apps/spark-2.2.2-bin-hadoop2.7.tgz -C /root/apps/

2.修改配置文件:
[ ] mv spark-env.sh.template spark-env.sh
[ ] mv slaves.template slaves

spark-env.sh:
export JAVA_HOME=/usr/local/jdk
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER ->Dspark.deploy.zookeeper.url=node6,node7,node8 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g

slaves:
node6
node7
node8

3.远程传输:
[ ] scp -r /root/apps/spark-2.2.2-bin-hadoop2.7/ slave1:/root/apps/

4.spark集群启动:
[ ] sbin/start-all.sh (在node3上执行)
//先起本地的master,然后通过ssh启动从机中的start-slave.sh脚本,启动worker,worker通过读spark-env.sh获取到master的位置
[ ] sbin/start-master.sh (在node4上执行)
//第二个master需要自己手动启动

5.Spark Shell 交互式命令行(后面的是命令参数)
[ ] /root/apps/spark-2.2.2-bin-hadoop2.7/bin/spark-shell
–master spark://node3:7077,node4:7077
–executor-memory 4g //指定每个worker分配内存大小
–total-executor-cores 8 //指定总共的核心数

6. web端访问页面
192.168.1.139:8080

二、HIVE ON SPARK

1.安装MySQL（hive的元数据库）并创建一个普通用户，并且授权
[ ] CREATE USER ‘root’@’%’ IDENTIFIED BY ‘123456’;
[ ] GRANT ALL PRIVILEGES ON hivedb.* TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
[ ] FLUSH PRIVILEGES;

#在spark的conf目录下创建一个hive的配置文件
2.添加一个hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node8:3306/hivedb?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>

   <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>

</configuration>

3.要在/etc/profile中配置一个环节变量
(让sparkSQL知道hdfs在哪里，其实就是namenode在哪里)
exprot HADOOP_CONF_DIR= /root/hadoop/hadoop-2.8.4/etc/hadoop
4.sparkSQL会在mysql上创建一个database，需要手动改一下DBS表中的DB_LOCATION_UIR改成hdfs的地址
hdfs://hdp/user/warehouse
5.上传一个mysql连接驱动
（sparkSubmit也要连接MySQL，获取元数据信息）
[ ] ./spark-sql --master spark://node6:7077,node7:7077 --driver-class-path /root/mysql-connector-java-5.1.7-bin.jar
6.重新启动SparkSQL的命令行
注意:启动命令行需要在master所在的节点启动

三、Spark-on-YARN

1. 官方文档

http://spark.apache.org/docs/latest/running-on-yarn.html

2. 配置安装

1. 安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。
2. 安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spark程序将作为YARN的客户端用于提交任务
   export JAVA_HOME=/usr/local/jdk1.8.0_131
   export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.3/etc/hadoop
3. 启动HDFS和YARN

3. 运行模式（cluster模式和client模式）

1.cluster模式
[ ] ./bin/spark-submit --class org.apache.spark.examples.SparkPi
–master yarn
–deploy-mode cluster
–driver-memory 1g
–executor-memory 1g
–executor-cores 2
–queue default
lib/spark-examples.jar *
10

---

[ ] ./bin/spark-submit --class cn.edu360.spark.day1.WordCount
–master yarn
–deploy-mode cluster
–driver-memory 1g
–executor-memory 1g
–executor-cores 2
–queue default
/home/bigdata/hello-spark-1.0.jar
hdfs://node-1.edu360.cn:9000/wc hdfs://node-1.edu360.cn:9000/out-yarn-1

2.client模式
[ ] ./bin/spark-submit --class org.apache.spark.examples.SparkPi
–master yarn
–deploy-mode client
–driver-memory 1g
–executor-memory 1g
–executor-cores 2
–queue default
lib/spark-examples.jar
10*

spark-shell必须使用client模式
./bin/spark-shell --master yarn --deploy-mode client

3.两种模式的区别
cluster模式: Driver程序在YARN中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质（如HDFS、Redis、Mysql）而非stdout输出的应用程序，客户端的终端显示的仅是作为YARN的job的简单运行状况。

client模式: Driver运行在Client上，应用程序运行结果会在客户端显示，所有适合运行结果有输出的应用程序（如spark-shell）

4.原理
cluster模式：

Spark Driver首先作为一个ApplicationMaster在YARN集群中启动，客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster，由该ApplicationMaster管理全生命周期的应用。具体过程：

1. 由client向ResourceManager提交请求，并上传jar到HDFS上
   这期间包括四个步骤：
   a).连接到RM
   b).从RM的ASM（ApplicationsManager ）中获得metric、queue和resource等信息。
   c). upload app jar and spark-assembly jar
   d).设置运行环境和container上下文（launch-container.sh等脚本)

2. ResouceManager向NodeManager申请资源，创建Spark ApplicationMaster（每个SparkContext都有一个ApplicationMaster）

3. NodeManager启动ApplicationMaster，并向ResourceManager AsM注册

4. ApplicationMaster从HDFS中找到jar文件，启动SparkContext、DAGscheduler和YARN Cluster Scheduler

5. ResourceManager向ResourceManager AsM注册申请container资源

6. ResourceManager通知NodeManager分配Container，这时可以收到来自ASM关于container的报告。（每个container对应一个executor）

7. Spark ApplicationMaster直接和container（executor）进行交互，完成这个分布式任务。

client模式：

在client模式下，Driver运行在Client上，通过ApplicationMaster向RM获取资源。本地Driver负责与所有的executor container进行交互，并将最后的结果汇总。结束掉终端，相当于kill掉这个spark应用。一般来说，如果运行的结果仅仅返回到terminal上时需要配置这个。

客户端的Driver将应用提交给Yarn后，Yarn会先后启动ApplicationMaster和executor，另外ApplicationMaster和executor都 是装载在container里运行，container默认的内存是1G，ApplicationMaster分配的内存是driver- memory，executor分配的内存是executor-memory。同时，因为Driver在客户端，所以程序的运行结果可以在客户端显 示，Driver以进程名为SparkSubmit的形式存在。

如果使用spark on yarn 提交任务，一般情况，都使用cluster模式，该模式，Driver运行在集群中，其实就是运行在ApplicattionMaster这个进程成，如果该进程出现问题，yarn会重启ApplicattionMaster（Driver），SparkSubmit的功能就是为了提交任务。

如果使用交换式的命令行，必须用Client模式，该模式，Driver是运行在SparkSubmit进程中，因为收集的结果，必须返回到命令行（即启动命令的那台机器上），该模式，一般测试，或者运行spark-shell、spark-sql这个交互式命令行是使用

注意：如果你配置spark-on-yarn的client模式，其实会报错。
修改所有yarn节点的yarn-site.xml，在该文件中添加如下配置:

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>