1. Hive on Spark

最新推荐文章于 2024-06-08 17:53:28 发布
最新推荐文章于 2024-06-08 17:53:28 发布
阅读量347 收藏 1
点赞数
文章标签： hive spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62553456/article/details/131419264
版权
本文介绍了如何将Hive的计算引擎从MapReduce替换为Spark，选择了Hive2.3.7和Spark2.0.0的兼容版本，并详细阐述了下载Spark源码、编译去除Hive依赖的过程，包括配置JDK、MAVEN、SCALA的环境变量，以及在编译后的Spark中添加Hive的jar包，最后配置Yarn和Hive以使用Spark执行引擎。
摘要由CSDN通过智能技术生成

1.1 简介

基于Spark的Hive，实质上是将Hive默认的计算引擎MapReduce替换成Spark。

Hive on spark简介可查看：Hive on Spark - Apache Hive - Apache Software Foundation

1.2 版本兼容性

hive和spark版本兼容。这个版本兼容不是强制的，但是它给的这个是肯定可以跑的。

由于我hive安装版本为2.3.7，所以我们选择spark的版本为2.0.0

1.3 下载 spark

下载地址：Index of /dist/spark/spark-2.2.0

此处我下载的是源码用于后续的编译

源码包下载以后解压查看里面的 pom.xml
其中 scala 版本是 2.11

2. 准备工作

  • 安装的spark，必须是一个不包含hive的jar包的版本。
  • 但是一般spark发行版都是有hive依赖的，所以要手动编译源码来获得不包含hive相关jar的spark二进制包。
  • 编译需要安装JDK、MAVEN、SCALA
  • 我选择node02作为包编译的服务器

2.1 JDK

JDK 在安装 hadoop 时候已经安装过，所以此处不演示安装过程
java -version

2.2 MAVEN安装

  • 下载maven
当前使用最新 3.9.3 版本

 

  • maven解压并创建目录
node02 上操作
cd /opt/software
mkdir maven
cd maven
rz # 上传apache-maven-3.9.3-bin.tar.gz
tar -xvzf apache-maven-3.9.3-bin.tar.gz
mv apache-maven-3.9.3/ maven-3.9.3
mkdir repository

 

  • 修改配置settings.xml
添加 localRepository
添加 aliyunmaven 的 public 仓库

  •  配置环境变量
vi /etc/profile
# 添加以下内容
export MAVEN_HOME = /opt/software/maven/maven-3.8.6
export PATH = ${PATH} : ${MAVEN_HOME} /bin
  • 刷新环境         
source /etc/profile
  •  确认配置成功

mvn -v

Scala安装

下载 scala
由于上面 spark 中依赖的 scala 的版本是 2.11, 此处我们下载 2.11 版本 scala

 

cd /opt/software/
mkdir scala
cd scala/
rz # 上传 scala-2.11.12.tgz
tar -xvzf scala-2.11.12.tgz
rm -rf scala-2.11.12.tgz
mv scala-2.11.12/ scala-2.11

 

  •  配置环境变量
vi /etc/profile
export SCALA_HOME = /opt/software/scala/scala-2.11
export PATH = ${PATH} : ${SCALA_HOME} /bin
source /etc/profile

3 编译源码包

3.1 参考文档

3.2 编译

编译过程
编译时间比较长
最终获得文件 spark-2.2.0-bin-hadoop2-without-hive.tgz

cd /opt/
mkdir compile
cd compile/
rz # 上传 spark-2.2.0.tgz
tar -xvzf spark-2.2.0.tgz
cd spark-2.2.0
./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop
provided,hadoop-2.7,parquet-provided"

3.3 解压安装

3.3.1 解压

  • 解压

cd /opt/software/
mkdir spark
cd /opt/compile/spark-2.2.0
cp spark-2.2.0-bin-hadoop2-without-hive.tgz /opt/software/spark
tar -xvzf spark-2.2.0-bin-hadoop2-without-hive.tgz

 

3.3.2 spark-env.sh

  • 配置
将 Hive 的 lib 目录下的指定 jar 包拷贝到 Spark 的 jars 目录下
cd /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/conf/
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
# 添加以下配置到spark-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8
export SCALA_HOME=/opt/software/scala/scala-2.11
export HADOOP_HOME=/opt/software/hadoop/hadoop-2.9.2
export HADOOP_CONF_DIR=/opt/software/hadoop/hadoop-2.9.2/etc/hadoop
export HADOOP_YARN_CONF_DIR=/opt/software/hadoop/hadoop-2.9.2/etc/hadoop
export SPARK_HOME=/opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive
export SPARK_WORKER_MEMORY=512m
export SPARK_EXECUTOR_MEMORY=512m
export SPARK_DRIVER_MEMORY=512m
export SPARK_DIST_CLASSPATH=$(/opt/software/hadoop/hadoop-2.9.2/bin/hadoop classpath)
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node00:2181,node01:2181,node02:2181 -Dspark.deploy.zookeeper.dir=/ha-on-spark"

 

3.3.3 slaves

  • 配置slaves
cd /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/conf/
cp slaves.template slaves
vi slaves
# 原本配置的 localhost 修改成以下内容
node01
node02
node03

3.3.4 拷贝Hive的jars

  • 将Hive的lib目录下的指定jar包拷贝到Spark的jars目录下
cp hive-beeline-2.3.7.jar hive-cli-2.3.7.jar hive-exec-2.3.7.jar hive-jdbc-2.3.7.jar hive-metastore-2.3.7.jar /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/jars/

 

3.3.7 环境变量

  • 3台机器配置环境变量

vi /etc/profile

export SPARK_HOME = /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive
export PATH = ${PATH} : ${SPARK_HOME} /bin: ${SPARK_HOME} /sbin

source /etc/profile

 

4 配置

4.1 配置yarn

  • yarn必须使用公平调度机制(非容量调度)。

这会公平地为 YARN 集群中的作业分配同等份额的资源。

yarn-site.xml添加以下配置

cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop
vi yarn-site.xml
<property>
<name> yarn.resourcemanager.scheduler.class </name>
<value> org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchedu
ler </value>
</property>
<!-- 是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是
true -->
<property>
<name> yarn.nodemanager.pmem-check-enabled </name>
<value> false </value>
</property>
<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是
true -->
<property>
<name> yarn.nodemanager.vmem-check-enabled </name>
<value> false </value>
</property>

 

scp yarn-site.xml node00: $PWD
scp yarn-site.xml node01: $PWD

4.2 配置hive

4.2.1 添加spark的依赖到hive

  • Hive 2.2.0之后，没有了 spark-assembly jar 。在Yarn模式运行时，需要将以下三个包放在HIVE_HOME/lib 下 ：scala-library、spark-core、spark-network-common。
    cd /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/jars
    cp spark-network-common_2.11-2.2.0.jar spark-core_2.11-2.2.0.jar scala-library-2.11.8.jar chill-java-0.8.0.jar chill_2.11-0.8.0.jar jackson-module-paranamer-2.6.5.jar jackson-module-scala_2.11-2.6.5.jar jersey-container-servlet-core-2.22.2.jar jersey-server-2.22.2.jar json4s-ast_2.11-3.2.11.jar kryo-shaded-3.0.3.jar minlog-1.3.0.jar scala-xml_2.11-1.0.2.jar spark-launcher_2.11-2.2.0.jar spark-network-shuffle_2.11-2.2.0.jar spark-unsafe_2.11-2.2.0.jar xbean-asm5-shaded-4.4.jar /opt/software/apache-hive-2.3.7/lib/
  • 把jar包同步给node01、node02
cd /opt/software/hive-2.3.7
scp -r lib/ node01: $PWD
scp -r lib/ node02: $PWD

4.2.2 在hive中设置使用spark引擎

  • 3台机器在 hive-site.xml 中配置执行引擎
cd /opt/software/hive-2.3.7/conf/
vi hive-site.xml

 

<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<property>
<name>spark.home</name>
<value>/opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive</value>
</property>
<property>
<name>spark.master</name>
<value>yarn</value>
</property>
<property>
<name>spark.eventLog.enabled</name>
<value>true</value>
</property>
<property>
<name>spark.eventLog.dir</name>
<value>hdfs://mycluster:8020/spark-hive-jobhistory</value>
</property>
<property>
<name>spark.executor.memory</name>
<value>512m</value>
</property>
<property>
<name>spark.serializer</name>
<value>org.apache.spark.serializer.KryoSerializer</value>
</property>
<property>
<name>spark.yarn.jars</name>
<value>hdfs://mycluster:8020/spark-jars/*</value>
</property>

4.2.3 HDFS创建目录

  • 在HDFS上创建spark-hive-jobhistory和spark-jars目录
hdfs dfs -mkdir /spark-jars
hdfs dfs -mkdir /spark-hive-jobhistory

 

  • 往spark-jars中上传jar包

hdfs dfs -put /opt/software/spark/spark-2.2.0-bin-hadoop2-without

hive/jars/*.jar /spark-jars

 

 

4.2.4 拷贝xml文件

  • 将hadoop中的yarn-site.xml、hdfs-site.xml以及Hive的hive-site.xml放入spark的conf中
cp /opt/software/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /opt/software/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml /opt/software/hive-2.3.7/conf/hive-site.xml /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/conf/

4.2.5 分发

  • 分发spark

cd /opt/software/
scp -r spark/ node01: $PWD
scp -r spark/ node02: $PWD

5 启动

  • 停掉所有服务
kill 有关 hive 的服务 ,beeline 客户端、 9083 、 10000 端口
stop-yarn.sh
stop-dfs.sh

 

 

  • 启动服务
# node00 上启动 hadoop
start-dfs.sh
start-yarn.sh
# node00 上启动 spark
cd /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/sbin/
./start-all.sh
# node01 上启动 master
cd /opt/software/spark/spark-2.2.0-bin-hadoop2-without-hive/sbin/
./start-master.sh
# node01 上启动 9083
hive --service metastore&
# node00 启动 10000
hiveserver2&
# node02 上启动 beeline
beeline -u jdbc:hive2://node01:10000 -n root

 

 

 

 

久香182
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hive on spark
欢迎大神交流讨论
12-08 326
前置准备 CentOS7、jdk1.8、hive-2.3.9、hadoop-2.7.7、spark-2.0.0-bin-hadoop2-without-hive 首先先配置maven Index of /dist/maven/maven-3 下载maven我下的是3.6.0版本 至少要3.1.3以上才能编译 同样解压到soft目录下 配置环境变量 spark底层用的还是scala代码 所以顺便装上了scala 后来好像用不到scala所以可以不用装 vi /etc/profile .
Hive on Spark
weixin_42073629的博客
10-29 1503
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi
spark-3.5.1+Hadoop 3.4.0+Hive4.0 分布式集群 安装配置
最新发布
tonyhi6的博客
06-08 2029
三 Spark 与Hive 集成。1 拷贝配置文件和Mysql 驱动。2 登录hive，创建测试表。3 启动 spark-sql。3 安装spark。
Hive on Spark安装配置详解（都是坑啊）
weixin_33686714的博客
08-25 1220
个人主页：http://www.linbingdong.com 简书地址：http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on ...
hive on spark 配置 和 spark on hive
yang灬仔
03-16 4031
Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 HiveonSpark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive...
Hive on Spark源码分析DOC
12-18
Hive on Spark源码分析 Hive on Spark 源码分析是指将 Hive 默认的执行引擎 MapReduce 换成 Spark 或者 Tez，以满足实际场景中的需求。本文将对 Hive on Spark 的源码进行深入分析，涵盖其基本原理、运行模式、Hive...
hive on spark mr 数据开发常见问题解决
11-20
一种解决方法是增加Hiveserver2中的`hive.spark.client.server.connect.timeout`参数，将其设为更长的时间，如5分钟，以允许更长的等待时间。 4. **Java heap空间溢出** `java.lang.OutOfMemoryError: Java heap ...
hive3.x编译spark3.x包
06-07
在IT行业中，Hive和Spark是两个非常重要的大数据处理框架。Hive主要提供了一种基于Hadoop的数据仓库工具，使得用户...此外，对于大规模集群，还需要考虑性能优化和资源管理策略，以确保高效稳定地运行Hive on Spark。
Hive on Spark实施笔记1
08-08
对于Hive on Spark，还有一些常用的参数，如`spark.master`，`spark.executor.memory`等，可以根据实际需求调整。 在测试阶段，可以执行一个触发聚合计算的Hive SQL查询，例如`SELECT COUNT(*) FROM table`。如果...
Hive On Spark
难得糊涂
11-30 4992
序言 之前写的一篇Ⅰ.今天看了一下感觉有很多不完善和错误的地方.这里在写一篇cuiyaonan2000@163.com 两者可以结合一起看用于理解学习 Hive On Spark 这个意思是将Hive的执行引擎替换成spark. 默认的是MR,且我们在启动Hive的时候会看到如下的内容(所以我们应该用spark来做为执行引擎cuiyaonan2000@163.com) 既然要换成spark,那我们知道Hadoop自带的Mr是不能用了,且不包含spark的相关服务,所以配置修改,增加spa.
HIVE-on-Spark
Hi_this_is_ID的博客
11-20 179
hive底层是通过MR进行计算，将其改变为SparkCore来执行 配置步骤 1.在不是高可用集群的前提下，只需要将Hadoop安装目录中的core-site.xml拷贝到spark的配置conf文件目录下即可(hdp-4) cp core-site.xml /root/apps/spark-2.4.4-bin-hadoop2.7/conf/ 2.将hive安装路径下的hive-site....
Hive-on-Spark
qq_43718871的博客
04-14 170
1.修改 hive/conf/hive-site.xml 新增如下配置 <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <pro...
spark sql——7. hive on spark
03-16
Spark SQL是一个用于处理结构化数据的Spark模块，它提供了一个类似于SQL的查询语言，可以用于查询和分析数据。而Hive on Spark则是将Hive与Spark集成，使得Hive可以使用Spark作为其执行引擎，从而提高Hive的查询性能和扩展性。通过Hive on Spark，用户可以使用Hive的SQL语言来查询和分析数据，同时利用Spark的分布式计算能力来加速查询和处理数据。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值