大数据开发之Hive优化篇6-Hive on spark

最新推荐文章于 2023-05-17 07:30:00 发布
最新推荐文章于 2023-05-17 07:30:00 发布
阅读量7.1k 收藏 5
点赞数 1
分类专栏： 大数据和数据仓库 # Hive 文章标签： hive on spark hadoop hive spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/117927796
版权

备注:
Hive 版本 2.1.1

一.Hive on Spark介绍

Hive是基于Hadoop平台的数据仓库，最初由Facebook开发，在经过多年发展之后，已经成为Hadoop事实上的SQL引擎标准。相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。Hive最初的计算引擎为MapReduce，受限于其自身的Map+Reduce计算模式，以及不够充分的内存利用，MapReduce的性能难以得到提升。

Hortonworks于2013年提出将Tez作为另一个计算引擎以提高Hive的性能。Spark则是最初由加州大学伯克利分校开发的分布式计算引擎，借助于其灵活的DAG执行模式、对内存的充分利用，以及RDD所能表达的丰富语义，Spark受到了Hadoop社区的广泛关注。在成为Apache顶级项目之后，Spark更是集成了流处理、图计算、机器学习等功能，是业界公认最具潜力的下一代通用计算框架。鉴于此，Hive社区于2014年推出了Hive on Spark项目（HIVE-7292），将Spark作为继MapReduce和Tez之后Hive的第三个计算引擎。该项目由Cloudera、Intel和MapR等几家公司共同开发，并受到了来自Hive和Spark两个社区的共同关注。目前Hive on Spark的功能开发已基本完成，并于2015年1月初合并回trunk，预计会在Hive下一个版本中发布。本文将介绍Hive on Spark的设计架构，包括如何在Spark上执行Hive查询，以及如何借助Spark来提高Hive的性能等。另外本文还将介绍Hive on Spark的进度和计划，以及初步的性能测试数据。

我们建议修改Hive，增加Spark作为第三执行后端(Hive -7292)，与MapReduce和Tez并行。

Spark是一个开源的数据分析集群计算框架，它建立在Hadoop的两阶段MapReduce范式之外，但建立在HDFS之上。Spark的主要抽象是一个分布式项目集合，称为弹性分布式数据集(Resilient distributed Dataset, RDD)。rdd可以通过Hadoop inputformat(例如HDFS文件)创建，也可以通过转换其他rdd创建。通过一系列的转换(如groupBy和filter)，或者Spark提供的count和save等操作来应用rdd，可以处理和分析rdd，从而实现MapReduce作业的功能，而不需要中间阶段。

SQL查询可以很容易地转换为Spark转换和操作，正如在Shark和Spark SQL中演示的那样。事实上，许多原始转换和操作都是面向sql的，比如join和count。

1.1 Hive on spark 动机

下面是Hive在Spark上运行的主要动机:
Spark用户的好处:对于已经在使用Spark进行其他数据处理和机器学习需求的用户来说，这个特性非常有价值。在一个执行后端进行标准化对于操作管理来说是很方便的，并且可以更容易地开发专门技术来调试问题和进行改进。

更广泛地采用Hive:遵循前面的观点，这将Hive作为SQL on Hadoop选项引入Spark用户群，进一步增加了Hive的采用。

性能:Hive查询，特别是涉及多个减速阶段的查询，运行速度会更快，从而像Tez一样提高用户体验。

Spark执行后端并不是为了取代Tez或MapReduce。Hive项目的多个后端并存是正常的。用户可以选择使用Tez、Spark或MapReduce。根据用例的不同，每种方法都有不同的优点。而Hive的成功并不完全依赖于Tez或Spark的成功。

1.2 设计原则

主要的设计原则是不影响或限制Hive现有的代码路径，因此不影响功能或性能。也就是说，用户选择在MapReduce或Tez上运行Hive，就会像现在一样拥有现有的功能和代码路径。此外，在执行层插入Spark可以最大限度地保持代码共享，并降低维护成本，因此Hive community不需要专门为Spark进行投资。

同时，选择Spark作为执行引擎的用户将自动拥有Hive提供的所有丰富功能特性。未来添加到Hive的特性(如新数据类型、udf、逻辑优化等)应该会自动提供给那些用户，而无需在Hive的Spark执行引擎中进行任何定制工作。

1.3 与Shark和Spark SQL的比较

Spark生态系统中有两个相关项目对Spark提供Hive QL支持:Shark和Spark SQL。

Shark项目将Hive生成的查询计划转换为自己的表示，并在Spark上执行。

Spark SQL是Spark中的一个特性。它使用Hive的解析器作为前台提供Hive QL支持。Spark应用程序开发人员可以在代码中轻松地用SQL以及其他Spark操作符表示数据处理逻辑。Spark SQL支持与Hive不同的用例。

与Shark和Spark SQL相比，我们的设计方法支持所有现有的Hive特性，包括Hive QL(以及任何未来的扩展)，以及Hive与授权、监视、审计和其他操作工具的集成。

1.4 其它考虑

我们知道一个新的执行后端是一个重要的任务。它不可避免地增加了复杂性和维护成本，即使设计避免触及现有的代码路径。Hive现在可以在MapReduce、Tez和Spark上运行单元测试。我们认为利大于弊。从基础设施的角度来看，我们可以赞助更多的硬件来进行持续集成。

最后，Hive on Tez已经奠定了一些重要的基础，这对支持一个新的执行引擎(如Spark)非常有帮助。这里的项目肯定会从中受益。另一方面，Spark是一个非常不同于MapReduce或Tez的框架。因此，在集成过程中很可能会发现漏洞和小问题。预计Hive社区将与Spark社区紧密合作，以确保集成的成功。

二.Hive on Spark 性能测试

代码:

set hive.execution.engine=mr;
select count(*) from ods_fact_sale;
set hive.execution.engine=spark;
select count(*) from ods_fact_sale;

测试记录:

hive> 
    > set hive.execution.engine=mr;

hive> select count(*) from ods_fact_sale;
Query ID = root_20210106155340_8c89f5f6-c599-49e6-9cec-d73d278a1df6
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
21/01/06 15:53:40 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm69
Starting Job = job_1609141291605_0037, Tracking URL = http://hp3:8088/proxy/application_1609141291605_0037/
Kill Command = /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hadoop/bin/hadoop job  -kill job_1609141291605_0037
Hadoop job information for Stage-1: number of mappers: 117; number of reducers: 1
2021-01-06 15:53:48,454 Stage-1 map = 0%,  reduce = 0%
2021-01-06 15:53:57,802 Stage-1 map = 2%,  reduce = 0%, Cumulative CPU 12.98 sec
2021-01-06 15:54:03,965 Stage-1 map = 3%,  reduce = 0%, Cumulative CPU 24.23 sec
2021-01-06 15:54:10,130 Stage-1 map = 4%,  reduce = 0%, Cumulative CPU 30.39 sec
2021-01-06 15:54:11,158 Stage-1 map = 5%,  reduce = 0%, Cumulative CPU 36.31 sec
2021-01-06 15:54:17,313 Stage-1 map = 7%,  reduce = 0%, Cumulative CPU 48.68 sec
2021-01-06 15:54:23,460 Stage-1 map = 8%,  reduce = 0%, Cumulative CPU 53.97 sec
2021-01-06 15:54:24,492 Stage-1 map = 9%,  reduce = 0%, Cumulative CPU 59.82 sec
2021-01-06 15:54:30,630 Stage-1 map = 10%,  reduce = 0%, Cumulative CPU 71.02 sec
2021-01-06 15:54:36,770 Stage-1 map = 12%,  reduce = 0%, Cumulative CPU 82.71 sec
2021-01-06 15:54:42,903 Stage-1 map = 14%,  reduce = 0%, Cumulative CPU 94.78 sec
2021-01-06 15:54:48,025 Stage-1 map = 15%,  reduce = 0%, Cumulative CPU 99.97 sec
2021-01-06 15:54:54,167 Stage-1 map = 16%,  reduce = 0%, Cumulative CPU 112.03 sec
2021-01-06 15:54:56,203 Stage-1 map = 17%,  reduce = 0%, Cumulative CPU 118.08 sec
2021-01-06 15:55:00,300 Stage-1 map = 18%,  reduce = 0%, Cumulative CPU 124.0 sec
2021-01-06 15:55:03,370 Stage-1 map = 19%,  reduce = 0%, Cumulative CPU 130.14 sec
2021-01-06 15:55:06,440 Stage-1 map = 20%,  reduce = 0%, Cumulative CPU 136.01 sec
2021-01-06 15:55:10,531 Stage-1 map = 21%,  reduce = 0%, Cumulative CPU 141.94 sec
2021-01-06 15:55:16,665 Stage-1 map = 22%,  reduce = 0%, Cumulative CPU 153.96 sec
2021-01-06 15:55:18,711 Stage-1 map = 23%,  reduce = 0%, Cumulative CPU 159.88 sec
2021-01-06 15:55:23,829 Stage-1 map = 24%,  reduce = 0%, Cumulative CPU 165.26 sec
2021-01-06 15:55:24,853 Stage-1 map = 25%,  reduce = 0%, Cumulative CPU 170.8 sec
2021-01-06 15:55:29,968 Stage-1 map = 26%,  reduce = 0%, Cumulative CPU 176.84 sec
2021-01-06 15:55:36,112 Stage-1 map = 27%,  reduce = 0%, Cumulative CPU 188.49 sec
2021-01-06 15:55:38,155 Stage-1 map = 28%,  reduce = 0%, Cumulative CPU 194.5 sec
2021-01-06 15:55:42,244 Stage-1 map = 29%,  reduce = 0%, Cumulative CPU 200.54 sec
2021-01-06 15:55:44,293 Stage-1 map = 30%,  reduce = 0%, Cumulative CPU 206.5 sec
2021-01-06 15:55:48,381 Stage-1 map = 31%,  reduce = 0%, Cumulative CPU 212.52 sec
2021-01-06 15:55:50,417 Stage-1 map = 32%,  reduce = 0%, Cumulative CPU 218.44 sec
2021-01-06 15:55:57,574 Stage-1 map = 33%,  reduce = 0%, Cumulative CPU 229.58 sec
2021-01-06 15:56:01,657 Stage-1 map = 34%,  reduce = 0%, Cumulative CPU 235.5 sec
2021-01-06 15:56:03,697 Stage-1 map = 35%,  reduce = 0%, Cumulative CPU 241.52 sec
2021-01-06 15:56:07,790 Stage-1 map = 36%,  reduce = 0%, Cumulative CPU 247.48 sec
2021-01-06 15:56:09,834 Stage-1 map = 37%,  reduce = 0%, Cumulative CPU 253.49 sec
2021-01-06 15:56:13,926 Stage-1 map = 38%,  reduce = 0%, Cumulative CPU 259.41 sec
2021-01-06 15:56:20,069 Stage-1 map = 39%,  reduce = 0%, Cumulative CPU 271.13 sec
2021-01-06 15:56:23,140 Stage-1 map = 40%,  reduce = 0%, Cumulative CPU 277.05 sec
2021-01-06 15:56:25,191 Stage-1 map = 41%,  reduce = 0%, Cumulative CPU 282.81 sec
2021-01-06 15:56:29,272 Stage-1 map = 42%,  reduce = 0%, Cumulative CPU 288.89 sec
2021-01-06 15:56:31,321 Stage-1 map = 43%,  reduce = 0%, Cumulative CPU 294.76 sec
2021-01-06 15:56:34,386 Stage-1 map = 44%,  reduce = 0%, Cumulative CPU 300.7 sec
2021-01-06 15:56:40,529 Stage-1 map = 45%,  reduce = 0%, Cumulative CPU 312.71 sec
2021-01-06 15:56:44,608 Stage-1 map = 46%,  reduce = 0%, Cumulative CPU 318.59 sec
2021-01-06 15:56:46,644 Stage-1 map = 47%,  reduce = 0%, Cumulative CPU 324.63 sec
2021-01-06 15:56:50,726 Stage-1 map = 48%,  reduce = 0%, Cumulative CPU 330.7 sec
2021-01-06 15:56:52,775 Stage-1 map = 49%,  reduce = 0%, Cumulative CPU 336.71 sec
2021-01-06 15:56:57,890 Stage-1 map = 50%,  reduce = 0%, Cumulative CPU 347.89 sec
2021-01-06 15:57:05,042 Stage-1 map = 52%,  reduce = 0%, Cumulative CPU 360.31 sec
2021-01-06 15:57:12,199 Stage-1 map = 54%,  reduce = 0%, Cumulative CPU 372.25 sec
2021-01-06 15:57:18,334 Stage-1 map = 55%,  reduce = 0%, Cumulative CPU 378.35 sec
2021-01-06 15:57:19,353 Stage-1 map = 56%,  reduce = 0%, Cumulative CPU 384.4 sec
2021-01-06 15:57:26,511 Stage-1 map = 57%,  reduce = 0%, Cumulative CPU 396.7 sec
2021-01-06 15:57:31,623 Stage-1 map = 59%,  reduce = 0%, Cumulative CPU 408.79 sec
2021-01-06 15:57:37,757 Stage-1 map = 60%,  reduce = 0%, Cumulative CPU 414.69 sec
2021-01-06 15:57:38,775 Stage-1 map = 61%,  reduce = 0%, Cumulative CPU 420.57 sec
2021-01-06 15:57:43,890 Stage-1 map = 62%,  reduce = 0%, Cumulative CPU 426.57 sec
2021-01-06 15:57:50,023 Stage-1 map = 63%,  reduce = 0%, Cumulative CPU 438.61 sec
2021-01-06 15:57:51,045 Stage-1 map = 64%,  reduce = 0%, Cumulative CPU 444.8 sec
2021-01-06 15:57:57,193 Stage-1 map = 65%,  reduce = 0%, Cumulative CPU 450.01 sec
2021-01-06 15:57:58,213 Stage-1 map = 66%,  reduce = 0%, Cumulative CPU 456.07 sec
2021-01-06 15:58:03,320 Stage-1 map = 67%,  reduce = 0%, Cumulative CPU 462.04 sec
2021-01-06 15:58:04,341 Stage-1 map = 68%,  reduce = 0%, Cumulative CPU 467.93 sec
2021-01-06 15:58:10,477 Stage-1 map = 69%,  reduce = 0%, Cumulative CPU 479.64 sec
2021-01-06 15:58:14,561 Stage-1 map = 70%,  reduce = 0%, Cumulative CPU 485.57 sec
2021-01-06 15:58:16,601 Stage-1 map = 71%,  reduce = 0%, Cumulative CPU 491.55 sec
2021-01-06 15:58:20,691 Stage-1 map = 72%,  reduce = 0%, Cumulative CPU 497.1 sec
2021-01-06 15:58:23,759 Stage-1 map = 73%,  reduce = 0%, Cumulative CPU 503.28 sec
2021-01-06 15:58:26,822 Stage-1 map = 74%,  reduce = 0%, Cumulative CPU 509.13 sec
2021-01-06 15:58:32,955 Stage-1 map = 75%,  reduce = 0%, Cumulative CPU 520.92 sec
2021-01-06 15:58:36,022 Stage-1 map = 76%,  reduce = 0%, Cumulative CPU 526.84 sec
2021-01-06 15:58:39,093 Stage-1 map = 77%,  reduce = 0%, Cumulative CPU 532.84 sec
2021-01-06 15:58:42,165 Stage-1 map = 78%,  reduce = 0%, Cumulative CPU 538.87 sec
2021-01-06 15:58:45,234 Stage-1 map = 79%,  reduce = 0%, Cumulative CPU 544.83 sec
2021-01-06 15:58:51,355 Stage-1 map = 80%,  reduce = 0%, Cumulative CPU 556.59 sec
2021-01-06 15:58:56,464 Stage-1 map = 81%,  reduce = 0%, Cumulative CPU 562.72 sec
2021-01-06 15:58:57,495 Stage-1 map = 82%,  reduce = 0%, Cumulative CPU 568.08 sec
2021-01-06 15:59:03,628 Stage-1 map = 83%,  reduce = 0%, Cumulative CPU 574.07 sec
2021-01-06 15:59:09,756 Stage-1 map = 84%,  reduce = 0%, Cumulative CPU 579.96 sec
2021-01-06 15:59:11,807 Stage-1 map = 84%,  reduce = 28%, Cumulative CPU 580.79 sec
2021-01-06 15:59:14,876 Stage-1 map = 85%,  reduce = 28%, Cumulative CPU 586.69 sec
2021-01-06 15:59:27,168 Stage-1 map = 86%,  reduce = 28%, Cumulative CPU 598.43 sec
2021-01-06 15:59:30,236 Stage-1 map = 86%,  reduce = 29%, Cumulative CPU 598.54 sec
2021-01-06 15:59:33,305 Stage-1 map = 87%,  reduce = 29%, Cumulative CPU 604.45 sec
2021-01-06 15:59:39,442 Stage-1 map = 88%,  reduce = 29%, Cumulative CPU 610.43 sec
2021-01-06 15:59:45,578 Stage-1 map = 89%,  reduce = 29%, Cumulative CPU 616.54 sec
2021-01-06 15:59:47,626 Stage-1 map = 89%,  reduce = 30%, Cumulative CPU 616.59 sec
2021-01-06 15:59:51,719 Stage-1 map = 90%,  reduce = 30%, Cumulative CPU 622.46 sec
2021-01-06 15:59:56,826 Stage-1 map = 91%,  reduce = 30%, Cumulative CPU 628.32 sec
2021-01-06 16:00:09,096 Stage-1 map = 92%,  reduce = 30%, Cumulative CPU 640.11 sec
2021-01-06 16:00:12,179 Stage-1 map = 92%,  reduce = 31%, Cumulative CPU 640.19 sec
2021-01-06 16:00:15,240 Stage-1 map = 93%,  reduce = 31%, Cumulative CPU 646.25 sec
2021-01-06 16:00:21,368 Stage-1 map = 94%,  reduce = 31%, Cumulative CPU 652.31 sec
2021-01-06 16:00:27,502 Stage-1 map = 95%,  reduce = 31%, Cumulative CPU 658.42 sec
2021-01-06 16:00:30,569 Stage-1 map = 95%,  reduce = 32%, Cumulative CPU 658.47 sec
2021-01-06 16:00:34,655 Stage-1 map = 96%,  reduce = 32%, Cumulative CPU 664.26 sec
2021-01-06 16:00:39,774 Stage-1 map = 97%,  reduce = 32%, Cumulative CPU 670.08 sec
2021-01-06 16:00:52,043 Stage-1 map = 98%,  reduce = 32%, Cumulative CPU 682.02 sec
2021-01-06 16:00:54,090 Stage-1 map = 98%,  reduce = 33%, Cumulative CPU 682.07 sec
2021-01-06 16:00:58,174 Stage-1 map = 99%,  reduce = 33%, Cumulative CPU 688.07 sec
2021-01-06 16:01:04,310 Stage-1 map = 100%,  reduce = 33%, Cumulative CPU 693.43 sec
2021-01-06 16:01:06,358 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 695.5 sec
MapReduce Total cumulative CPU time: 11 minutes 35 seconds 500 msec
Ended Job = job_1609141291605_0037
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 117  Reduce: 1   Cumulative CPU: 695.5 sec   HDFS Read: 31436910990 HDFS Write: 109 HDFS EC Read: 0 SUCCESS
Total MapReduce CPU Time Spent: 11 minutes 35 seconds 500 msec
OK
767830000
Time taken: 447.145 seconds, Fetched: 1 row(s)
hive> 
    > set hive.execution.engine=spark;
hive> select count(*) from ods_fact_sale;
Query ID = root_20210106160132_8d81e192-ceb7-46a3-bc60-70a5eeabce87
Total jobs = 1
Launching Job 1 out of 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Running with YARN Application = application_1609141291605_0038
Kill Command = /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hadoop/bin/yarn application -kill application_1609141291605_0038
Hive on Spark Session Web UI URL: http://hp3:44667

Query Hive on Spark job[0] stages: [0, 1]
Spark job[0] status = RUNNING
--------------------------------------------------------------------------------------
          STAGES   ATTEMPT        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  
--------------------------------------------------------------------------------------
Stage-0 ........         0      FINISHED    117        117        0        0       0  
Stage-1 ........         0      FINISHED      1          1        0        0       0  
--------------------------------------------------------------------------------------
STAGES: 02/02    [==========================>>] 100%  ELAPSED TIME: 51.30 s    
--------------------------------------------------------------------------------------
Spark job[0] finished successfully in 51.30 second(s)
Spark Job[0] Metrics: TaskDurationTime: 316285, ExecutorCpuTime: 247267, JvmGCTime: 5415, BytesRead / RecordsRead: 31436921640 / 767830000, BytesReadEC: 0, ShuffleTotalBytesRead / ShuffleRecordsRead: 6669 / 117, ShuffleBytesWritten / ShuffleRecordsWritten: 6669 / 117
OK
767830000
Time taken: 71.384 seconds, Fetched: 1 row(s)
hive>

从测试记录可以看出，执行速度从mr的8分钟比哪位了71秒，性能大幅提升

参考

1.https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark
2.http://lxw1234.com/archives/2015/05/200.htm

只是甲
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Hive on Spark生产调优之Job和Join优化
击水三千里的专栏
03-23 865
Job map端reduce端 和 Join优化
hive on spark 调优
一个记录普通男孩在ＩＴ界学习思考感悟的地方
03-03 1868
hive on spark 性能远比hive on mr 要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hive on spark。 udf函数也是全部支持。本文主要是想讲hive on spark 在运行于yarn模式的情况下如何调优。下文举例讲解的yarn节点机器配置，假设有32核，120GB内存。 1.yarn配置 yarn.nodemanager.resource.cpu-vcores和yarn.nodemanager.resource.memory-mb,这两个参数决定这集.
Hive on Spark调优（大数据技术3）
zy345293721的博客
05-17 983
在将NodeManager的总内存平均分配给每个Executor，最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。动态分配可根据一个Spark应用的工作负载，动态的调整其所占用的资源（Executor个数）。此处的Executor个数是指分配给一个Spark应用的Executor个数，Executor个数对于Spark应用的执行速度有很大的影响，所以Executor个数的确定十分重要。
Spark SQL与Hive On MapReduce速度比较
光于前裕于后的博客
05-15 7673
我们都知道Spark比Hadoop的MR计算速度更快。到底快多少呢？我一直比较疑惑，会有官网说的那么夸张吗。 今天就拿基于Spark的Spark SQL和基于MR的Hive比较一下，因为Spark SQL也兼容了HiveQL，我们就可以通过运行相同的HiveQL语句，比较直观的看出到底快多少了。 Spark SQL只要在编译的时候引入Hive支持，就可以支持Hive表访问，UDF，Ser...
大数据学习之路 Hadoop篇（一）：超简单的虚拟机搭建Hadoop+Hive+Spark+HBase环境
GodxvA
03-14 4635
这么长时间没有写博客，期间也发生了很多事情，我也一不小心从萌萌的开发变成了萌萌的数据。 我在写这篇博客的时候还是数据方面的初学者，一来可以回顾总结自己最近学习的内容，督促自己更快更仔细的学习；二来可以为和我一样的初学者提供方便，不必花很多精力去找一些资源和技巧或者环境的搭建，而是专注于知识的学习。 工欲善其事，必先利其器。要想学好大数据，得先有大数据方面的环境。我看过网上很多搭建的教程，自己一...
apache-hive-2.3.9-bin.tar大数据HIVE.zip
10-08
8. **Hive on Tez/Spark**：Hive 2.3.9 版本中，用户可以选择使用Tez或Spark作为执行引擎，以提高查询性能，尤其是对于交互式查询。 9. **ACID特性**：从Hive 2.0开始，Hive支持事务（Transactions）、原子性...
大数据Spark纯净版安装包，用于快速集成Hive on Spark
最新发布
03-26
Spark纯净版安装包是一个用于安装Apache Spark的软件包，该软件包提供了Spark的基本功能和组件，但不包含任何额外的扩展或依赖项。纯净版安装包旨在提供一个轻量级、简单易用的Spark安装选项，适用于用户希望快速...
大数据技术之hive学习文档
06-29
- **企业级优化**：包括分区、桶、优化查询（如 Join 优化、Subquery 优化等）、Hive on Spark 提升性能。 - **实战项目**：Hive 常用于广告点击率分析、用户行为分析、日志处理等大数据场景。 - **常见错误及解决...
spark--bin-hadoop3-without-hive.tgz
09-17
本压缩包“spark--bin-hadoop3-without-hive.tgz”提供了Spark二进制版本，针对Hadoop 3.1.3进行了编译和打包，这意味着它已经与Hadoop 3.x兼容，但不包含Hive组件。在CentOS 8操作系统上，这个版本的Spark已经被...
大数据技术之Hive.zip
06-06
**大数据技术之Hive** Hive是Apache软件基金会下的一个开源项目，主要为大数据处理提供了一个基于Hadoop的数据仓库工具。它允许用户使用SQL（HQL，Hive SQL）样的查询语言来处理存储在Hadoop分布式文件系统(HDFS)中...
大数据技术之-Hive的优化
我睡觉的时候不困
07-22 1197
Hive由Facebook开源用于解决海量结构化日志的数据统计工具Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
hive on spark 已测，完美搭建
qq_42147602的博客
07-01 2771
hive on spark 已测，完美搭建安装包版本 Hadoop-3.1.3 Hive-3.1.2 Spark-3.0.0 安装包要选择博主安装包，已经经过编译，可以避开许多坑 Hadoop压缩包链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw 提取码：1234 –如下载不上或需要远程协助，移步v xy18796357645告明来意1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Sp
hive on spark 集成（spark-sql 整合hive）
Siobhan_Mxin的博客
03-05 1311
hive on spark的整合配置及具体实现文档
线上 hive on spark 作业执行超时问题排查案例分享
明哥的IT随笔
11-08 2867
m分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法
hive on spark
我还是个菜鸟
10-15 7261
hive on Spark一. 配置二. hive三种模式1、内嵌Derby方式2.Local方式3.Remote方式 (远程模式)三. spark sql 远程连接（thriftserver -- beeline）2 .spark-sql3.scala操作spark-SQL四 .spark on hive(HiveServer 2)1. HiveServer 22. beline3. Sp...
hive 和 spark
weixin_35755562的博客
12-18 407
Hive是一个开源的数据仓库系统，旨在简化大数据的管理和分析。它使用类似于SQL的查询语言，称为HiveQL，可以用来查询、转换和管理大型数据集。Hive通常与Hadoop(一个分布式存储和计算框架)结合使用，但它也可以使用其他存储技术，如Amazon S3。 Spark是一个开源的大数据处理引擎，可以用于计算、存储和分析大量数据。它提供了许多有用的工具和功能，如Spark SQL、Spark S...
hive on spark 任务的状态一直是running,并且占用的内存资源也不能够释放
人的大脑是cpu，而不是硬盘
07-16 4362
问题描述：hive配置成spark引擎，提交任务到yarn，执行SQL 能够正确的返回结果，但是执行完毕，任务的状态一直是running，并且占用的内存资源也不能够释放 问题分析：spark on hive本质是spark-shell.sh，spark-shell.sh会一直占用进程，这样后面提交的hive on spark任务就不需要重复上传spark依赖，加速任务执行速度 解决思路：如需执行mapreduce或者其他类型任务，切换其他队列或者强制结束spark进程 解决步骤： hive]$ ya
HiveOnSpark
asd623444055的博客
05-10 535
链接：https://pan.baidu.com/s/1LgvdPWQ-VNMlRc2qV4EcRg?pwd=i8n8 提取码：i8n8 1.Hive版本升级 1）上传编译后的apache-hive-3.1.2-bin.tar至集群 2）解压apache-hive-3.1.2-bin.tar.gz tar -zxf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3）将原有的hive进行重命名 mv hive/ hive_bak 4）将新安装的.
[hive] 总结hive只能有一个reduce运行的情况及改善方法
朱同学的博客
11-16 3642
推荐 hive的调优手段总结 hive在什么情况下只能有一个reduce运行 有时不管怎么设置调整reduce个数的参数，任务中一直都只有一个reduce任务,此时所有数据都发往一个reduce会导致任务执行缓慢甚至失败,因此实际工作过程中要尽量避免这种情况的发生. 有以下情况会导致只有一个reduce执行任务: 1 使用udtf聚集函数却没带group by 比如 select count...
大数据最佳实践-hive on spark
06-28
### 回答1： Hive on Spark是大数据处理中的最佳实践之一。它将Hive和Spark两个开源项目结合起来，使得Hive可以在Spark上运行，从而提高了数据处理的效率和速度。Hive on Spark可以处理大规模的数据，支持SQL查询和数据分析，同时还可以与其他大数据工具集成，如Hadoop、HBase等。在实际应用中，Hive on Spark可以用于数据仓库、数据分析、机器学习等领域，是一种非常实用的大数据处理方案。 ### 回答2： 随着大数据应用的不断增多，越来越多的企业开始关注大数据技术的实现与应用。Hive是基于Hadoop的开源数据仓库系统，它提供了一种类似于SQL的语言，使得非技术用户能够方便地查询大量数据。而Spark则是现在最流行的分布式计算框架，因其内存计算功能，比Hadoop更加高效和快速。 在实践中，Hive on Spark将两个框架结合在一起，提供了更高效和实用的解决方案。在Hive on Spark中，数据可以通过Spark来加速计算和查询，从而实现更高效的大数据处理。Hive on Spark集成了Spark的强大内存计算引擎，可以支持更大规模的数据处理和更快速的查询处理，同时还可以提供更好的性能、更低的延迟和更低的处理成本。 Hive on Spark采用了Spark作为计算框架，Spark可以很快地对Hive上的数据进行处理，因此可以处理数百亿条数据。此外，由于Spark是基于内存的计算框架，因此可以大大提高计算速度，并消除了磁盘IO瓶颈。因此，Hive on Spark可以支持更快的查询响应时间和更高的用户并发性能。 除了这些，Hive on Spark还提供了更简单的应用管理和维护，对提高大数据处理效率和时间的优化非常有利。同时，它还提供了机器学习和深度学习模型的处理能力，从而可以实现更广泛的数据分析应用。尤其对于非技术人员，通过Hive on Spark，用户可以快速地实现自己的数据分析需求，从而实现有效管理和使用数据。 总之，Hive on Spark是目前最有效和实用的大数据处理和管理框架之一。它使得数据分析变得更加简单和高效，并可以快速满足业务需求，使企业在大数据技术和应用方向上取得更大成就。 ### 回答3： Hive on Spark是一种基于Apache Spark的分布式计算系统，它将Apache Hive和Spark技术相结合，提供了更加高效的数据处理和分析能力。在大数据行业中，Hive on Spark已经成为了一种最佳实践，因为它能够帮助企业实现更快的数据处理速度和更高的数据处理能力。 首先，Hive on Spark可以让企业更加轻松地使用Spark进行数据处理和分析。Apache Spark是一种流行的分布式计算框架，拥有强大的数据处理能力和高效的架构。而Hive on Spark将Hive SQL和Spark技术相结合，让企业用户能够以更加简单的方式使用Spark进行数据分析和处理。 其次，Hive on Spark能够极大地提高数据处理的速度和能力。Hive on Spark通过将Hive SQL转换为Spark的RDD操作，能够在分布式环境下对大规模数据进行高效的处理和分析。相比于传统的Hadoop集群，Hive on Spark可以提供更高的数据处理速度和更高的数据处理能力，能够帮助企业更加顺畅地进行数据分析和决策。 最后，Hive on Spark还具有可扩展性和灵活性。企业用户可以根据自身的需求对Spark集群进行扩容或者缩容，以满足更加多样化的数据处理需求。同时，Hive on Spark还支持多种数据格式，包括Hive表、CSV、JSON等，能够帮助企业更加灵活地处理不同类型的数据。 总之，Hive on Spark是大数据行业最佳实践之一，它能够帮助企业客户更加方便地使用Spark进行数据处理和分析，提高数据处理的速度和能力，同时还具有可扩展性和灵活性等特点，能够帮助企业更加高效地进行数据分析和决策。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值