文章目录
前言: 本篇文章在已经安装 Hadoop 3.3.4
与 Hive 3.1.3
版本的基础上进行,与笔者版本不一致也没有关系,按照步骤来就行了。
如果你不想使用低版本的 Spark(例如:Spark 2.x
系列),请直接跳转到本文目录【重编译源码】。
Hadoop 安装
详情查看我的这篇博客:Hadoop 完全分布式搭建(超详细)
Hive 安装
详情查看我的这篇博客:Hive 搭建(将 MySQL 作为元数据库)
Hive On Spark 与 Spark On Hive 区别
Hive On Spark
在 Hive 中集成 Spark,Hive 既作为元数据存储,又负责解析 HQL 语句,只是将 Hive 的运行引擎更换为 Spark,由 Spark 负责运算工作,而不再是默认的 MR 引擎,但部署较为复杂。
Spark On Hive
Hive 只负责元数据存储,由 Spark 来解析与执行 SQL 语句,其中的 SQL 语法为 Spark SQL,且部署简单。
Spark on Hive 的优点在于它提供了更灵活的编程接口,适用于各种数据处理需求,但性能可能不如 Hive on Spark,特别是在处理复杂查询时。
部署 Hive On Spark
查询 Hive 对应的 Spark 版本号
每个 Hive 版本适配的 Spark 都不相同,使用的 Spark 版本必须与 Hive 源码中指定的版本一致,或者重新编译源码,更换成需要的版本。
我这里使用的 Hive 版本为 3.1.3
,现在通过官方网站 —— Index of /hive 获取对应版本的 Hive 源码。
下载完成后,解压缩,在主目录下找到 pom.xml
文件:
直接通过浏览器打开该文件,搜索 spark.version
即可查询到对应的 Spark 版本。
可以看到 Hive 3.1.3
对应的 Spark 版本为 2.3.0
,如果你不想使用该版本,那么使用 IDEA 打开该项目,在该 pom.xml
文件中修改你需要的 Spark 版本,然后使用 maven
重新打包,重新安装 Hive 即可。
我这里就不在重新编译了,该 Spark 版本已经可以满足我的使用需求。
下载 Spark
在 Spark 官方网站直接下载 —— Index of /dist/spark
找到对应版本进行下载,这里需要注意选择纯净版的包下载,如下所示:
选择 without-hadoop
没有集成 Hadoop 的 Spark 版本进行下载,这样 Spark 就会使用集群系统中安装的 Hadoop。
将下载好的包上传到集群中,下面开始安装部署 Spark。
注意,请将下列提到的路径替换为你自己实际的存储路径!!!不一定需要和我一样。
解压 Spark
tar -xvf spark-2.3.0-bin-without-hadoop.tgz -C /opt/module/
顺手改个名字
cd /opt/module
mv spark-2.3.0-bin-without-hadoop/ spark-2.3.0
配置环境变量
vim /etc/profile
文件末尾添加:
#SPAKR\_HOME
export SPARK\_HOME=/opt/module/spark-2.3.0
export PATH=$PATH:$SPARK\_HOME/bin
刷新环境变量:source /etc/profile
指定 Hadoop 路径
因为我们的版本选择的纯净版,所以需要在 Spark 环境文件中指定已经安装的 Hadoop 路径。
cd $SPARK\_HOME/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
在该文件末尾添加,指定 Hadoop 路径:
export SPARK\_DIST\_CLASSPATH=$(hadoop classpath)
添加完成之后,保存并退出。
其中 $(hadoop classpath)
的作用是获取 Hadoop 类路径的值 (需要提前配置 Hadoop 的环境变量,否则获取不到) ,我们可以直接打印看看它存储的内容:
在 Hive 配置 Spark 参数
进入 Hive 的 conf
目录中,创建 Spark 配置文件,指定相关参数。
cd $HIVE\_HOME/conf
vim spark-default.conf
添加如下配置内容:
# 指定提交到 yarn 运行
spark.master yarn
# 开启日志并存储到 HDFS 上
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop120:8020/spark-logDir
# 指定每个执行器的内存
spark.executor.memory 1g
# 指定每个调度器的内存
spark.driver.memory 1g
配置文件创建完成后,在 HDFS 上创建 Spark 的日志存储目录。
hadoop fs -mkdir /spark-logDir
上传 Jar 包并更换引擎
因为只在一台机器上安装了 Hive 和 Spark,所以当我们将任务提交到 Yarn 上进行调度时,可能会将该任务分配到其它节点,这就会导致任务无法正常运行,所以我们需要将 Spark 中的所有 Jar 包到 HDFS 上,并告知 Hive 其存储的位置。
上传文件
hadoop fs -mkdir /spark-jars
cd $SPARK\_HOME
hadoop fs -put ./jars/* /spark-jars
在 Hive 的配置文件中指定 Spark jar
包的存放位置:
cd $HIVE\_HOME/conf
vim hive-site.xml
在其中添加下列三项配置:
<!--Spark依赖位置-->
<property>
<name>spark.yarn.jars</name>
<value>hdfs://hadoop120:8020/spark-jars/*</value>
</property>
<!--Hive执行引擎-->
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<!--提交任务超时时间,单位ms-->
<property>
<name>hive.spark.client.connect.timeout</name>
<value>5000</value>
</property>
配置项添加完成后,我们就配置好了 Hive On Spark,下面对其进行测试。
测试 Hive On Spark
进入 Hive 中创建测试表:
drop table if exists books;
create table books(id int,book_name string);
写入测试数据:
insert into books values (1,'bigdata');
insert into books values (2,'hive');
insert into books values (3,'spark');
注意,每次打开终端的首次 MR 操作会消耗比较多的时间,要去与 Yarn 建立连接、分配资源等,大概
30s
至1m
左右。
程序运行时,可以访问其给出的 WEB URL 地址(http://hadoop120:45582
不固定),访问后如下所示:
可以看到运行速度还是嘎嘎快的(真是受够了 MR!):
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
片转存中…(img-BYoDpake-1712846438344)]
[外链图片转存中…(img-oGyZMM16-1712846438345)]
[外链图片转存中…(img-UJLVq0A9-1712846438345)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-mLu06Hgh-1712846438345)]