【Spark】Spark beeline连接外置hive之后select语句报错

最新推荐文章于 2023-07-05 16:30:59 发布
最新推荐文章于 2023-07-05 16:30:59 发布
阅读量488 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44173974/article/details/113803620
版权

问题描述

使用Spark beeline连接外置hive之后select语句报错
Class com.hadoop.compression.lzo.LzoCodec not found
在这里插入图片描述

问题原因

Spark on Yarn会默认使用Hadoop集群配置文件设置编码方式，但是Spark在自己的spark-yarn/jars 包里面没有找到支持lzo压缩的jar包，所以报错。

问题解决

拷贝lzo到spark的jar目录下

cp /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark3/jars/
可乐大牛
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive报错 spark_hive整合spark之后进入hive报错
weixin_39609822的博客
12-20 174
故障描述如下：spark和hive整合之后，spark-sql可以使用，hive直接进入会保错，保错信息如下Logging initialized using configuration in jar:file:/home/hadoop/hdfs/hive/lib/hive-common-2.3.4.jar!/hive-log4j2.properties Async: trueHive-on-MR...
Spark-SQL连接Hive 的五种方法
m0_73734232的博客
12-11 3736
Spark-SQL连接Hive 的五种方法
spark中使用select * fromTableName报错，原因及解决方法
最新发布
FanDDDN的博客
07-05 323
spark中使用select * fromTableName报错
hive进行select等操作时，报错，提示没有权限。
东城庞太师
03-08 942
原因： 解决： 1.柔和： 配置权限 2.暴力： beeline -n hdfs -u jdbc:hive2://IP:10000
IDEA SparkSQL连接外部hive报错Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState‘:
smallworldxyl的博客
02-03 2177
原图 Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apac
【SparkSQL】- 连接 Hive 报错 SparkSession with Hive support because Hive classes are no
兀坐晴窗独饮茶
09-26 1705
报错信息 ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Exception in thread "main" java.lang.IllegalArgumentException: Unable to i...
cpp map 获取所有 key_Spark存储Parquet数据到Hive，对map、array、struct字段类型的处理...
weixin_39630441的博客
10-21 230
Spark存储Parquet数据到Hive，对map、array、struct字段类型的处理​mp.weixin.qq.com利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题的原因、现象以及解决方案，首先看下述示例：-- 创建存储格式为parquet的Hive非分区表 CREATE EXTERNAL T...
beeline 连接SPARK /Hive
lgshendy的专栏
05-06 1446
hiveclient所在主机的jdk 1.7_51，hive 0.12和hadoop 2.3.0是从服务器端拷贝过来的，环境变量一切OK. 执行连接报了Invalid URL的错误： $ beeline Beeline version 0.12.0 by Apache Hive beeline> !connect jdbc:hive2://cloud011:10000 scan com...
使用beeline工具连接Hive.md
09-01
使用beeline工具连接Hive
sparkSQL连接hive失败案例和解决办法
qq_46183404的博客
10-05 3047
sparkSQL连接hive失败案例和解决办法
hive on spark 执行“select count(*) from user“报错
m0_56836258的博客
11-25 563
报错信息: Failed to execute spark task,with exception 'org.apache.hadoop.hive.ql.metadata.HiveException (Failed to create Spark client for Spark session eb29e13d-ce70-46e8-bbd3-2aa5c78402b5) FAILED: Execution Error, return code 30041 from org.apache.hadoop..
spark-sql操作hive报错及解决
weixin_43799404的博客
04-20 1560
spark-sql操作hive报错及解决 1.Exception thrown when executing query : SELECT DISTINCT ‘org.apache.hadoop.hive.metastore.model.MTable’ AS NUCLEUS_TYPE,A0.CREATE_TIME,A0.LAST_ACCESS_TIME,A0.OWNER,A0.RETENTION,A0.IS_REWRITE_ENABLED,A0.TBL_NAME,A0.TBL_TYPE,A0.TBL_ID
【总结】hive-jdbc升级后执行spark.sql查询hive报错NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
Java高手真经
03-08 862
看到 Caused by: java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 首先关键词是HIVE_STATS_JDBC_TIMEOUT，错误原因是NoSuchFieldError，说明存在类冲突，点击查看org.apache.spark.sql.hive.HiveUtils 类源码第212行，发现该代码引用了HiveConf.ConfVars中的枚举值。最后迫于无奈，只能将hive-common的版本号再次降回到1.2.1版本。
Spark Standalone模式应用程序开发
春华秋实
06-08 645
一、Scala版本： 程序如下： package scala import org.apache.spark.SparkContext import org.apache.spark.SparkConf object Test {     def main(args: Array[String]) {       val logFile = "fi
CDH 6.3.2 实战oozie+hue+sqoop+hive 应用碰到的问题（Class com.hadoop.compression.lzo.LzoCodec not found问题 ）
qq_40976830的博客
05-21 1225
首先我先说一下采用尚硅谷数据导入要采用lzo 压缩的，直接走这篇文章去安装 CDH安装LZO压缩方式 获取到hadoop-lzo.jar /hadoop-lzo-0.4.15-cdh6.3.2.jar 之后上传到HDFS这个目录下 hdfs dfs -put /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh6.3.2.jar /user/oozie/share/lib/lib_20210429181138/sqoop/
Cloudera Manager安装完后hive使用lzo小坑计
qq_39886984的博客
04-07 390
前提：打开hive能正常打开，且服务无报错，hdfs中hive库正常存在。 问题：hive中无法查看库，表，但是建表后hdfs中有表结果显示。 报错信息：明显报错-> Error in configuring object（配置对象时出错）。 问题详情：查看/tmp/用户名/hive.log日志，发现causeBy->Class com.hadoop.compression.lzo.L...
spark-sql查表出现Class com.hadoop.compression.lzo.LzoCodec not found
小五的博客
02-16 213
缺少lzo的包，网上下载lzo的包我的是hadoop-lzo-0.4.20.jar。放入hadoop目录与spark目录。
【Spark】 Spark beeline简单使用
可乐大牛的博客
02-13 5176
操作 Spark Thrift Server 是 Spark 社区基于 HiveServer2 实现的一个 Thrift 服务。旨在无缝兼容 HiveServer2。因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部 署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关 语句。Spark Thrift Server 的目的也只是取代 HiveServer2
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值