spark 使用外部hive遇到的问题

最新推荐文章于 2022-10-26 23:11:10 发布
最新推荐文章于 2022-10-26 23:11:10 发布
阅读量375 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cuichunchi/article/details/107690980
版权

当hive使用tez引擎作为执行器的时候，在spark使用外部hive的时候，默认是把hive-site.xml直接拷贝到spark的conf目录下

如果直接运行这抛出异常：

找不到tez的相关包，直接将hive-site.xml的tez引擎注释，或者改为mr引擎即可

cuichunchi
关注
专栏目录
SPARKSQL3.0-Spark兼容多版本Hive源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
12-01 2363
SPARKSQL3.0-Spark兼容多版本Hive源码分析
Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL
热门推荐
Fang的博客
01-11 1万+
[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark SQL also supports reading and writing data stored in
Hive的执行引擎Tez、spark出现的问题
cuichunchi的博客
09-15 1795
Hive on Tez中，切换成mr引擎出现以下问题： hadoop版本为2.7.3 tez版本为0.9.1 因为tez安装目录中应该有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，hadoop中也有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common等jar，确认他们的版本是否相同，如果不同，会有这个问题； 解决：将tez低版本的jar替换成2.7
hive3.1.2远程连接报错hadoop is in safe, Tez找不到、Thrift 10000端口占用、hadoop AuthorizationException问题、hive后台运行
Big_data_implicit_
12-06 860
在连接远程hive时： hiveserver2 报错： 1、hadoop is in safe java.lang.RuntimeException: Error applying authorization policy on hive configuration: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/root/c6dccd2b-0324-41d
spark连接外部hive报错
weixin_30273931的博客
06-27 317
仅仅将hive-site.xml拷贝到spark的conf目录下是不够的，还需要将mysql的jdbc驱动包拷贝到spark的jar目录下 转载于:https://www.cnblogs.com/yaoyu19960106/p/11095073.html
Spark读取Hive on Tez任务问题
fansy1990的专栏
03-18 1414
Spark读取Hive on Tez任务问题 参考 Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found出现的问题后续，由于HDP集群调整Hive引擎为Tez后，出现的问题。具体问题如下： 19/03/18 10:40:16 INFO client.TezClient: Session mode. Star...
hive表更改元数据之后未选择级联，在查询时spark引擎和hive/tez引擎查询结果不一致问题
a6822342的博客
05-11 1314
最近在工作中遇到一个问题：他人修改了数据表之后（加了两个字段，但是没有选择级联更改），用spark引擎查是可以查到数据，用tez/hive来查新增的两个字段的值是null值。 最后发现是分区的元数据和表的元数据不一致导致的，分区的元数据少了新增的两个字段，所以查出来数据是null。 下面是两段代码，分别查表的元数据信息和分区的元数据信息： #查表的元数据信息 desc table_name; #查对应分区的元数据信息 desc table_name partition(分区字段='分区值') 对比
关于Hive计算引擎Tez简介和使用
gg7894125的博客
07-19 1421
一、前言 Hive默认计算引擎时MR，为了提高计算速度，我们可以改为Tez引擎。至于为什么提高了计算速度，可以参考下图： image-20200719151044959 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 二、安装包准备 1）下载tez的依赖包：http://tez.apache.o
Idea上 使用Spark3.0 sql 操作hive
u014034497的专栏
10-26 1279
前提：按照以下集群规划安装好HDFS,Hadoop Yarn。
Spark SQL操作外部数据源(含Spark和Hive集成)
小财迷嘻嘻的博客
11-16 647
目录1、简介1.1 多数据源支持1.2 读数据格式1.3 写数据格式2、CSV2.1 读取CSV文件2.2 写入CSV文件3、JSON3.1 读取JSON文件3.2 写入JSON文件4、Parquet4.1 读取Parquet4.2 写入Parquet文件5、hive表5.1 spark-shell5.2 IDEA6、mysql6.1 spark-shell6.2 IDEA 1、简介 1.1 多数据源支持 1.2 读数据格式 所有读取 API 遵循以下调用格式： // 格式 DataFrameReader
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9899
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
启动hive报错_HIVE搭建和使用
weixin_39634480的博客
11-22 563
HIVE是一个基于Hadoop的数据仓库，适用于一些高延迟性的应用（离线开发）。如果对延迟性要求比较高，则可以选择Hbase。Hive的工作原理简单的说就是一个查询引擎，接收到一个SQL，然后解析到集群能处理的程序（MR），最后返回结果。前提：需要已经安装配置好hadoop参考：https://zhuanlan.zhihu.com/p/116593502​zhuanlan.zhihu.comHiv...
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 5953
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
Hive运行引擎Tez
程序员学习圈
05-01 1327
Tez是一个Hive的运行引擎，性能优于MR。为什么优于MR呢？看下图。 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 1.安装包准备 1.1 下...
设置hive执行引擎为Tez
破晓的成长之路
10-20 8960
我们知道hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率。 安装配置如下： 在此假设已经安装好基础hadoop、hive集群。 Tez下载解压 1、下载tez的依赖包：http://tez.apache.org 2、解压缩apache-tez-0.9.1-bin...
Hive 使用TEZ引擎导致连接Hive SHELL慢的问题
数据源的港湾
07-06 4021
在使用HDP Hadoop版本时，Ambari界面允许选择Hive执行引擎是MapReduce还是TEZ，如下图所示 使用TEZ作为Hive执行引擎来替代MapReduce，可以在很多场景上实现更好的效率提高，然后使用TEZ作为默认引擎也会导致一些问题。最近就碰到这样的场景，客户使用TEZ作为执行引擎，在计算过程中确实比使用默认的MapReduce快很多，但遇到的一个问题是：每次总要花10~...
hive运行引擎Tez出现错误
qq_20790447的博客
05-09 1790
运行hive之后出现以下问题， Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Hive metastore database is not init
spark读取hive问题汇总
迷途的菜鸟
11-08 1951
hive的计算引擎是tez，该如何配置？ spark读取hive的数据报错，按照网上的说明，将hive的conf目录下的hive-site.xml复制到spark的conf目录下，并添加上hive的metastore。 <property> <name>hive.metastore.uris</name> <value&...
SPARK 2.2.1 不支持的hive的特性
工欲善其事，必先利其器
02-13 1196
下面是spark2.2.1目前不支持的hive的一些特性。这些特性大多数很少在hive部署中应用。1. hive的主要特性方面不支持表分桶操作：桶简单理解就是使用hash值对hive表进行分区。2. hive深奥特性方面不支持union数据类型(Hive 0.7.0开始才引入，但目前仍对此类型支持不够完全)。 以下是示例，帮助理解该数据类型，CREATE TABLE union_test(foo ...
Spark 2.0性能调优深度解析：关键问题与解决方案
本文档提供了关于如何进行 Spark 2.x 性能调优的一系列实用指南，旨在帮助用户解决在实际部署和使用过程中可能遇到的问题。 首先，"Building Spark" 部分着重于构建 Spark 环境，强调了设置正确的 Java 环境变量的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值