Spark安装及部署
一、安装Spark(Yarn模式)
1、上传解压
选择不带hadoop依赖的 spark-3.3.1-bin-without-hadoop.tgz
1)官网地址:http://spark.apache.org/
2)文档查看地址:https://spark.apache.org/docs/3.3.1/
3)下载地址:https://spark.apache.org/downloads.html
https://archive.apache.org/dist/spark/
[xxx@hadoop102 software]$
tar -zxvf spark-3.3.1-bin-without-hadoop.tgz -C /opt/module/
2、改名
[xxx@hadoop102 module]$
mv /opt/module/spark-3.3.1-bin-without-hadoop /opt/module/spark
3、修改配置文件
(1)yarn-site.xml
[xxx@hadoop102 hadoop]$ vim yarn-site.xml
添加如下内容
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
(2)conf/spark-env.sh
[xxx@hadoop102 conf]$
mv spark-env.sh.template spark-env.sh
[xxx@hadoop102 conf]$ vim spark-env.sh
添加YARN_CONF_DIR配置,保证后续运行任务的路径都变成集群路径
添加:(注意:要和hadoop目录名对应)
YARN_CONF_DIR=/opt/module/hadoop-3.3.1/etc/hadoop
4、配置历史服务
1)修改spark-default.conf.template名称
[xxx@hadoop102 conf]$
mv spark-defaults.conf.template spark-defaults.conf
2)修改spark-default.conf文件,配置日志存储路径(写)
[xxx@hadoop102 conf]$ vim spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/directory
3)修改park-env.sh文件
[xxx@hadoop102 conf]$ vim spark-env.sh
添加如下配置:
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:**8020**/directory
-Dspark.history.retainedApplications=30"
4)创建历史服务器的文件夹:
[xxx@hadoop102 spark-yarn]$
hadoop fs -mkdir /directory
5)配置spark历史服务器关联路径
(1)/opt/module/spark-yarn/conf/spark-defaults.conf
添加如下内容:
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080
(2)如果在Yarn上仍无法看到Spark历史服务
在yarn-site.xml中添加如下配置并启动Yarn历史服务器
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
6)避免OOM,调大Hive堆内存
[xxx@hadoop102 conf]$ cd $HIVE_HOME/conf
[xxx@hadoop102 conf]$ cp hive-env.sh.template hive-env.sh
修改 hive-env.sh,将 Hive 堆内存改为 2048M,如下。
export HADOOP_HEAPSIZE=2048
二、Hive On Spark
1、Hive环境搭建
(1)修改spark-env.sh配置文件
[xxx@hadoop102 software]$
vim /opt/module/spark/conf/spark-env.sh
增加如下内容。
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
(2)配置Spark环境变量
[xxx@hadoop102 software]$
sudo vim /etc/profile.d/my_env.sh
添加如下内容。
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
source 使其生效。
[xxx@hadoop102 software]$
source /etc/profile.d/my_env.sh
(3)在hive中创建spark配置文件
[xxx@hadoop102 software]$
vim /opt/module/hive/conf/spark-defaults.conf
添加如下内容(在执行任务时,会根据如下参数执行)。
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/spark-history
spark.executor.memory 1g
spark.driver.memory 1g
在HDFS创建如下路径,用于存储历史日志。
[xxx@hadoop102 software]$
hadoop fs -mkdir /spark-history
(4)向HDFS上传Spark纯净版jar包
说明1:采用Spark纯净版jar包,不包含hadoop和hive相关依赖,能避免依赖冲突。
说明2:Hive任务最终由Spark来执行,Spark任务资源分配由Yarn来调度,该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径,这样集群中任何一个节点都能获取到。
[xxx@hadoop102 software]$
hadoop fs -mkdir /spark-jar
[xxx@hadoop102 software]$
hadoop fs -put /opt/module/spark/jars/* /spark-jars
(5)修改hive-site.xml文件
添加如下内容:
<!--Spark依赖位置(注意:端口号8020必须和namenode的端口号一致)-->
<property>
<name>spark.yarn.jars</name>
<value>hdfs://hadoop102:8020/spark-jars/*</value>
</property>
<!--Hive执行引擎-->
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
2、Yarn环境配置
(1)增加ApplicationMaster资源比例
hadoop102的**/opt/module/hadoop/etc/hadoop/capacity-scheduler.xml**
[xxx@hadoop102 hadoop]$ vim capacity-scheduler.xml
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.8</value>
</property
(2)分发capacity-scheduler.xml
[xxx@hadoop102 hadoop]$ xsync capacity-scheduler.xml
(3)连接外部开发工具开启metastore
不要使用hiveserver2,容易掉!!!
[xxx@hadoop102 ~]$ nohup hive --service metastore &