hive on spark配置经验

已于 2022-12-05 21:38:32 修改
阅读量849 收藏
点赞数
分类专栏： Spark 文章标签： hive spark hadoop
于 2022-12-01 21:42:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xwxdsj/article/details/128139356
版权

  1. 常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive
    注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode就需要格式化（删除hadoop下的data logs文件夹执行hdfs namenode -format）

  2. hive客户端运行sql报错，要学会看错误在哪里，hive的默认日志地址在/tmp/用户名下

  3. hive-site.xml文件中需要配置两个与spark连接的配置文件，没配置，你能够从报错的日志中找到

    hive.spark.client.connect.timeout 300000ms hive.spark.client.server.connect.timeout 300000ms

  4. 至于版本问题我用的hive-3.1.2 spark3.0.0

  5. 任何解决不掉的问题，重装hive100%解决

  6. 每次重新启动hive以后，第一条hive on spark都会很慢,且可能会报错，等待以及多尝试几次即可正常

小五冲冲冲
关注
专栏目录
【硬刚Hive】HIVE高级(14):优化(14) Hive On Spark配置
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 542
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 Executor 参数 以单台服务器 128G 内存，32 线程为例。 1.1 spark.executor.cores.
hive on spark安装
大数据机器学习
04-28 5416
Hive on spark安装 1.      下载apache-hive-2.0.0-bin.tar.gz，安装。（尽量安装和hive相对应的版本spark和hadoop） 2.      编译spark（不带hive的） ./make-distribution.sh--name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,ha
Apache Spark源码走读之12 -- Hive on Spark运行环境搭建
weixin_34082695的博客
05-30 1088
欢迎转载，转载请注明出处，徽沪一郎。 楔子 Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。 Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapReduce计算框架来实现，因而在处理速度上不是非常...
Hive on spark 配置
weixin_44701015的博客
06-19 2762
参考文档 https://docs.cloudera.com/documentation/enterprise/latest/topics/admin_hos_oview.html#hos_running http://bdlabs.edureka.co/static/help/topics/admin_hos_tuning.html https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hos_tuning.html 1
hive on spark 配置 和 spark on hive
yang灬仔
03-16 4113
Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 HiveonSpark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive...
Hive on Spark安装配置详解（都是坑啊）
weixin_33686714的博客
08-25 1254
个人主页：http://www.linbingdong.com 简书地址：http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on ...
Hive 上配置 Hive on Spark
09-16 2178
在 Hive 上配置 Hive on Spark。
Hive on Spark 配置
最新发布
hu_wei123的博客
03-30 1972
Hive引擎包括：MR（默认）、tez、spark。Hive on Spark：Hive既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive：Hive 只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用 RDD 执行。
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
Hive on Spark配置
qq_28286027的博客
04-04 3676
1. Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。 2. Hive on Spark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive
Hive on Spark 配置、运行
要努力啊
09-02 4285
一、Spark上运行Hive的配置 如下的配置文件 都是在Spark目录中配置 1）/usr/local/spark/conf/hive-site.xml 在/usr/local/spark/conf中添加hive-site.xml配置文件，主要是来指明Hive元数据 的位置。具体内容为：   <configuration> <property>...
配置hive on spark
weixin_56581189的博客
03-15 666
linux虚拟机配置Spark On Hive
hive on spark模式hive的配置
RayMand168的博客
06-18 237
hive on spark模式hive的配置
hive on spark配置和需要注意的点
qq_46183404的博客
10-17 2297
hive on spark配置和需要注意的点
hive on spark参数配置
weiha666的博客
12-23 3028
hive on Spark参数： set spark.master=yarn-cluster; #设置spark提交模式 set hive.execution.engine=spark; #设置计算引擎 set spark.yarn.queue=queue_name; #设置作业提交队列 set spa...
hive on spark模式spark的配置
RayMand168的博客
06-18 571
在hdfs上创建历史日志存放目录。
Hive_on_Spark安装配置详解
京庐空间
03-14 776
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapR
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
JIE的博客 --- moon_coder
10-30 8393
Hive On Spark 概述、安装配置、计算引擎更换、应用、异常解决
详解Hive on Spark配置
weixin_46429290的博客
11-24 4246
Hive on Spark配置 Hive引擎默认的是MapReduce，就是没执行一个Hive语句，其实都是运行了一个MR程序，都知道的，MR虽好，但是慢呢。所以在时代的驱使下，就出现了把Hive的引擎更换的需要，通常Hive的引擎还有tez、Spark。我们经常听到Hive on Spark和Spark on Hive，不明所以的小伙伴还会以为这两个是倒装句，其实不然，Hive on Spark 和 Spark on Hive有着很大的区别 Hive on Spark：直译就是把Hive 放到 Spark
hive on spark 配置原理
05-30
在Hive on Spark模式下，Hive使用Spark作为计算引擎来执行查询。它的配置原理如下： 1. 首先，需要在Hive中启用Spark支持。可以通过设置hive.execution.engine为spark来启用。 2. 接下来，需要在Hive中配置Spark相关的参数，包括Spark的master地址、Spark的executor内存大小、Spark的executor个数等。这些参数可以通过在Hive中设置对应的配置属性来进行配置。 3. 然后，需要在Hive中创建一个SparkSession，以便Hive可以使用它来执行Spark任务。SparkSession是Spark 2.x中用于创建DataFrame和DataSet的入口点。在Hive中创建SparkSession的方式是通过设置hive.spark.session.*属性，其中*代表SparkSession的相关属性。 4. 同时，为了更好地利用Spark的资源管理能力，需要在Spark集群中配置好资源管理器，如YARN、Mesos或Standalone等。在Hive on Spark模式下，Hive将使用Spark集群中的资源管理器来管理Spark任务的资源分配和调度。 综上所述，Hive on Spark的配置原理是通过在Hive中启用Spark支持，配置Spark相关参数和创建SparkSession，并在Spark集群中配置好资源管理器来实现的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值