CDH之HIVE-ON-SPARK、Spark配置

已于 2022-07-20 15:57:40 修改
阅读量2.6k 收藏 14
点赞数 2
分类专栏： CDH 文章标签： spark hive big data
于 2022-06-05 17:07:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yellow_python/article/details/124921416
版权

文章目录

HIVE ON SPARK配置

CDH6.3.2的HIVE版本为：2.1.1+cdh6.3.2

HIVE默认引擎

hive.execution.engine

Driver配置

spark.driver

配置名称 说明 建议
spark.driver.memory 用于Driver进程的内存 YARN可分配总内存的10%
spark.driver.memoryOverhead 集群模式下每个Driver进程的堆外内存 D r i v e r 内存 × 0.1 Driver内存 \times 0.1 Driver内存×0.1
spark.yarn.driver.memoryOverhead 和spark.driver.memoryOverhead差不多，YARN场景专用 A M 内存 × 0.1 AM内存 \times 0.1 AM内存×0.1
spark.driver.cores 集群模式下，用于Driver进程的核心数

Executor配置

最低0.47元/天 解锁文章
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
十八闲客的博客,专注于大数据运维
07-22 2425
但是这样有个问题是当集群有多个用户运行Hive查询时会有问题，应避免为每个用户的会话分配固定数量的executor，因为executor分配后不能回其他用户的查询使用，如果有空闲的executor，在生产环境中，计划分配好executor可以更充分的利用Spark集群资源。启动并发GC周期时的堆内存占用百分比. G1之类的垃圾收集器用它来触发并发GC周期,基于整个堆的使用率,而不只是某一代内存的使用比. 值为 0 则表示"一直执行GC循环". 默认值为 45.​。本集群分别设置为3G和1G。
CDH6.0、6.1篇：8、CDH的 hive on spark配置及解析、优化
laughing1997的博客
03-29 8083
分三个章节 1、版本展示 2、CDH安装spark 3、优化配置信息 ----------------------分割线---------------------------------------- 1、版本展示 1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/dow...
CDH 6.3.0 环境下 Hive on Spark 的搭建、配置与调优指南
最新发布
gitblog_06758的博客
04-29 609
CDH 6.3.0 环境下 Hive on Spark 的搭建、配置与调优指南 【下载地址】CDH6.3.0环境下HiveonSpark的搭建配置与调优指南 在CDH 6.3.0环境下，Hive on Spark的搭建、配置与调优指南为您提供了一站式解决方案。本文档基于实际生产经验，详细指导如何在CDH平台上高效部署Hi...
cdh6.3.2配置Hive on Spark
benpaodexiaowoniu的博客
05-03 6238
环境：戴尔xps15（32G内存、1T固态、外接雷电3接口的三星1T移动固态、WD Elements的4T外接机械硬盘）win10三台Centos7虚拟机用于测试cdh6.3.2集群（免费的社区版的最高版本）以及自编译phoenix5.1.0、flink1.10.0、elasticsearch6.6.0等各源码。 首先，该集群试用企业版功能到期后，无法启动Reports Manager角色（见...
Hive On Spark搭建(cdh)
xw514124202的博客
08-06 2779
hive 和 spark版本之前有强对应关系 apache hive 和 spark 对应关系表 master 2.3.0 3.0.x 2.3.0 2.3.x 2.0.0 2.2.x 1.6.0 2.1.x 1.6.0 2.0.x 1.5.0 1.2.x 1.3.1 1.1.x 1.2.0 ...
编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar
06-23
spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....
spark-hive-2.11和spark-sql-以及spark-hadoop包另付下载地址
05-22
在实际使用中，首先需要解压缩这些文件，然后配置Spark的`spark-defaults.conf`文件以指向Hive的元数据存储位置（如HDFS或本地文件系统上的metastore_db）。接着，通过设置`spark.sql.hive.metastore.uris`等参数，...
CDH的 hive on spark（spark on yarn）
あずにゃん梓喵的博客
02-14 7692
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/download/2.11.8.html 2.12.8版本： tar -zxvf scala-2.12.8.tg...
对应chd5.14的spark_Hive On Spark搭建(cdh)
weixin_39732991的博客
12-22 199
hive 和 spark版本之前有强对应关系apache hive 和 spark 对应关系表master2.3.03.0.x2.3.02.3.x2.0.02.2.x1.6.02.1.x1.6.02.0.x1.5.01.2.x1.3.11.1.x1.2.0cdh hive 和 spark对应关系编译环境准备下载scala 2.11版本#添加环境变量vim/etc/profileexportS...
flink source 同步_Hive 终于等来了 Flink
weixin_39803022的博客
10-21 544
简介： Flink 社区在集成 Hive 功能方面付出很多，目前进展也比较顺利，最近 Flink 1.10.0 RC1 版本已经发布，感兴趣的读者可以进行调研和验证功能。作者：JasonApache Spark 什么时候开始支持集成 Hive 功能？笔者相信只要使用过 Spark 的读者，应该都会说这是很久以前的事情了。那 Apache Flink 什么时候支持与 Hive 的集成呢？读者可能有些...
CDH上安装spark2的操作说明
11-16
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
CDH-hive的引擎换为spark：hive on spark
DCHAO的博客
03-20 4082
CDH-hive的引擎换为spark：hive on spark
Hive on Spark
weixin_42073629的博客
10-29 1642
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi
cdh hive on spark_基于CDH集群的大数据项目的优化总结
weixin_39708737的博客
11-30 952
基于CDH集群的大数据项目的优化总结点击上方“技术支持联盟”，选择“置顶公众号”第一时间了解程序员大小事儿作者：Jin，一个头发茂密的大数据方向攻城狮，一个爱为小伙伴排忧解难的小伙伴~摘要:CDH是Cloudera公司的开源平台发行版，包括Apache Hadoop。通过将Hadoop与十几个其他关键的开源项目集成，可执行端到端的大数据工作流程。简单讲：CDH 封装了各类大数据组件，是...
cdh6.2.1下hive on spark配置使用，hue使用，beeline使用，hive-jdbc使用及日志进度获取
weixin_43455443的博客
03-31 2756
CDH6.2.1 环境 1、开启hive on spark配置： 在hive配置中搜索 spark ，更改一下配置： YARN 服务上的 Spark 选择spark 默认执行引擎 hive.execution.engine ：spark 执行程序初始数 spark.dynamicAllocation.initialExecutors ：2 ，启动sparksession时，默认初始启动的executor个数，如果配置了 set spark.executor.instances=3 （启动的e
在 CDH 中调优 Apache Hive on Spark
海边无限的专栏
05-05 1535
Spark 上的 Hive 在提供相同功能的同时提供比 MapReduce 上的 Hive 更好的性能。在 Spark 上运行 Hive 不需要更改用户查询。具体来说，完全支持用户定义函数 (UDF)，并且大多数与性能相关的配置都使用相同的语义。 本主题介绍如何在 Spark 上配置和调整 Hive 以获得最佳性能。本主题假设您的集群由 Cloudera Manager 管理，并且您使用 YARN 作为 Spark 集群管理器。 以下部分中描述的示例假设一个 40 主机 YARN 集群，每台主...
CDH-6.3.2从零到一的详细安装教程&hive on Spark性能测试教程
weixin_46414659的博客
07-22 291
这里截图配置到后期会报警告，为此这里请dn和nm配置集群cdh[1-3],cdh部署集群规划也已经更新，请参考最新的[cdh部署集群规划](https://www.yuque.com/g/liuqingsong-pekab/tm595f/hhxi36v2fn2iu0ra/collaborator/join?token=KVLMip7BeVp6MEzf# 《cdh部署集群规划》)文档进行配置。
CDH6.2安装spark集群基础环境
qq_24141759的博客
02-21 1382
cdh6.2搭建spark集群，运行spark任务。
cdh配置hive on spark
07-15
### 回答1： CDH（Cloudera's Distribution for Hadoop）是Cloudera公司针对Hadoop生态系统进行的一系列软件包和工具的集成，其中包括Hive on Spark的配置。 Hive是一个建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveQL，方便用户使用SQL语言对存储在Hadoop中的大型数据集进行查询和分析。Spark是一个快速、通用的数据处理引擎，具有内存计算的特性，能在内存中高效地处理大规模数据。 在CDH中配置Hive on Spark需要进行以下步骤： 1. 确保CDH集群已经正确安装和配置，并且已经启动了Hive服务和Spark服务。 2. 在CDH管理界面中，选择Hive服务，然后点击“配置”选项卡。 3. 在配置页面中，找到“Hive 服务”下的“Ancillary Service Configuration”部分。在“Spark”部分中，填写正确的Spark主节点地址和端口号。 4. 点击“保存并重启”以应用配置更改。 5. 在CDH管理界面中，选择Spark服务，然后点击“配置”选项卡。 6. 在配置页面中，找到“Spark 特定”的部分。在“Spark 实例模式”中选择“Standalone”，表示将使用独立的Spark集群。 7. 在“Spark 主节点地址”中填写正确的Spark主节点的地址。 8. 点击“保存并重启”以应用配置更改。 9. 配置完成后，可以使用HiveQL语句在Hive中使用Spark进行查询和分析数据。在Hive命令行或Hue界面中，编写需要的查询语句并执行。 通过以上步骤，就可以在CDH上成功配置Hive on Spark。这样就可以同时利用Hive和Spark的强大功能，实现对大规模数据的高效分析和处理。 ### 回答2： CDH配置Hive on Spark是指在CDH平台上配置使用Spark作为Hive的计算引擎。下面是具体的步骤： 1. 首先，确保已经在CDH平台上安装了Hive和Spark组件。 2. 在Hive的配置文件中，需要添加以下参数来启用Hive on Spark： hive.execution.engine = spark hive.spark.client.connect.timeout = 300s hive.spark.client.server.connect.timeout = 300s 3. 在Spark的配置文件中，需要增加以下参数来支持Hive on Spark： spark.master = yarn-client spark.deploy.mode = client spark.submit.deployMode = client spark.yarn.queue = default spark.executor.instances = 10 spark.executor.memory = 4G spark.executor.cores = 2 spark.driver.memory = 4G 4. 然后，重启Hive和Spark的服务。 5. 运行Hive脚本或者Hive命令时，可以在Hive中使用"hive.execution.engine=spark"设置为Spark引擎，或者在命令行中使用"--engine=spark"参数。 配置完成后，Hive会将相应的作业提交给Spark来执行，利用Spark的分布式计算能力加速Hive查询的执行速度。需要注意的是，配置Hive on Spark需要确保CDH平台中的Hive和Spark是兼容的，并且调整Spark的资源配置以满足计算需求。 总之，通过CDH配置Hive on Spark可以充分发挥Spark的并行处理能力，提高Hive查询的执行效率和性能。 ### 回答3： CDH是一种大数据解决方案，用于配置Hive on Spark的步骤如下： 1. 首先，确保已安装CDH集群并启动了Hive和Spark组件。如果还没有安装，请按照CDH文档进行安装和配置。 2. 检查Hive和Spark的版本兼容性。Hive on Spark需要Hive和Spark版本之间的兼容性，查看CDH文档以了解哪些版本适用于您的集群。 3. 在Hive配置文件中启用Hive的Spark支持。打开Hive配置文件（hive-site.xml），设置hive.execution.engine为spark。 4. 配置Spark属性。在Spark配置文件（spark-defaults.conf）中，设置spark.master为yarn-client或yarn-cluster，这取决于您的CDH集群配置。还可以通过设置其他属性来优化Spark执行引擎的性能。 5. 启动Hive服务。重启Hive服务以使配置更改生效。您可以使用以下命令重新启动Hive服务： sudo service hive-server2 restart 6. 测试Hive on Spark。使用Hive命令行或其他Hive客户端，运行一些Hive查询并确认它们是否在Spark上执行。 配置Hive on Spark可以提供更好的性能和资源利用率。而且，使用Spark作为执行引擎还可以充分利用Spark提供的丰富的数据处理功能和API。通过使用CDH的Hive on Spark配置，您可以更好地处理和分析大规模的数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值