hive解析lzo文件失败,No LZO codec found, cannot run

最新推荐文章于 2022-10-17 10:56:14 发布
最新推荐文章于 2022-10-17 10:56:14 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： hadoop hive 文章标签： hadoop hive lzo No LZO codec found cannot run
在尝试使用Hive解析LZO格式文件时遇到错误'No LZO codec found, cannot run'。问题源于hadoop集群缺少hadoop-lzo-*.jar或者相关配置未在core-site.xml中正确设置。解决方法包括检查HADOOP_CLASSPATH中是否包含hadoop-lzo-*.jar，以及core-site.xml中'io.compression.codecs'和'io.compression.codec.lzo.class'的配置是否正确。确保这两个条件满足即可正常运行。" 122344575,9737436,字节跳动测试开发面试经验分享,"['测试用例', '功能测试', '程序人生', '面试技巧', '技术面试']
摘要由CSDN通过智能技术生成

Hive创建外部表，指向lzo格式文件时，无法解析出数据，报错如下：

java.io.IOException: No LZO codec found, cannot run.

hiveserver2日志报错如下：

Diagnostic Messages for this Task:
Error: java.io.IOException: java.lang.reflect.InvocationTargetException
 at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97)
 at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:57)
 at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:265)
 at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.<init>(HadoopShimsSecure.java:212)
 at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getRecordReader(HadoopShimsSecure.java:332)

最低0.47元/天 解锁文章
beat_it
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
No LZO codec found, cannot run.解决方案参考。
GOD-LEI的博客
12-29 1292
问题：使用hive on spark，创建lzo存储格式的表格，查询数据的时候，报错：No LZO codec found, cannot run。 解决和排错过程： 1.百度No LZO codec found, cannot run，搜索结果分为以下三种原因： 1). hadoop-lzo.jar包的兼容性问题 首先确定我的框架版本： （1）.官方下载的lzo-master是一个maven项目，解压之后，修改pom文件中 <hadoop.current.version>2.6.0</
hive报错整理之Malformed ORC file 、Invalid postscript.
热门推荐
qq_33536353的博客
03-24 1万+
java.io.IOException: Malformed ORC file
No LZO codec found, cannot run.
weixin_44765495的博客
07-05 980
直接Hive启动执行select语句无异常，但使用JDBC方式连接Hiveserver2报如下错误 0: jdbc:hive2://hadoop102:10000> select * from ods_start_log limit 10; Error: java.io.IOException: java.io.IOException: No LZO codec found, cannot run. (state=,code=0 尝试方法： 首先将hadoop-lzo-0.4.20.jar 放入Ha
hive建表没使用LZO存储格式，可是数据是LZO格式时遇到的问题
weixin_33836223的博客
12-19 263
       今天微博大数据平台发邮件来说。他们有一个hql执行失败。可是从gateway上面的日志看不出来是什么原因导致的，我帮忙看了一下。最后找到了问题的解决办法，下面是分析过程： 1、执行失败的hql： INSERT OVERWRITE TABLE brand_ad_user_with_interact_score_3 select a.uid, a.brand, a....
sparksql查询hive表报错：codec com.hadoop.compression.lzo.LzoCodec not found 问题探究
Interest1_wyt的博客
05-23 1374
Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec 问题探究
hive对于lzo文件处理异常Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67...
weixin_30478923的博客
10-30 403
hive查询lzo数据格式文件的表时,抛Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67108864 (probably corrupt file)这类异常,如图: 这是由于lzo文件数过多,hive执行时默认是不会自动先合并lzo等压缩文件再计算,需要设置hive对...
【Hadoop/Hbase】centos上安装并设置Snappy/LZO压缩方式
zwan0518的专栏
07-30 8442
在hadoop和hbase文件传输可以在压缩之后在进行传输，这样就可以在传输的时候减少传输数据，增大I/O和带宽效率。在hadoop中主要提供了三种压缩方式Gzip、LZO、Snappy三种数据压缩。后面两种需要额外的配置和安装依赖。但是，在hadoop中默认都已经实现接口。
presto 查询hive facebook.presto.spi.PrestoException: ....hadoop.mapred.TextInputFormat
06-15 1023
om.facebook.presto.spi.PrestoException: Unable to create input format org.apache.hadoop.mapred.TextInputFormat at com.facebook.presto.hive.HiveUtil.getInputFormat(HiveUtil.java:331) at com.facebook.presto.hive.StoragePartitionLoader.loadPartition(Storage
【学习笔记】大数据技术之Hive(下)
prague6695的博客
03-27 453
8 函数 8.1 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; UDF： 普通函数 UDTF： 炸裂函数 UDAF： 聚合函数 8.2 常用内置函数 8.2.1 空字段赋值 1）函数说明 NVL：给值为 NULL 的数据赋值，它的格式是 NVL( value，def
报错Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file ....
qq_43368947的博客
07-06 1819
问题描述 在用 sqoop 拉取 mysql 中的数据到 hive 的 ods 层的时候，报错以下内容 原因在于 在hive中创建表格的时候,格式是ORC，而在导入数据的时候,文本文件却非ORC格式的。 ORC格式是列式存储的表，不能直接从本地文件导入数据，只有当数据源表也是ORC格式存储时，才可以直接加载，否则会出现上述报错。 解决方案 1.将ORC格式的表删除换成textfile存储格式的表即可。 2.先创建一个以textfile格式的临时表先将源文件数据加载到该表，然后再从textfile表中i
hivesql运行报错：java.lang.reflect.InvocationTargetException
weixin_43451620的博客
10-17 2030
hive运行报错处理
解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)
ciqingloveless的博客
02-28 2856
这个问题在hive3.1已经解决，但是我查看源码之后发现hive2.3.6还是没解决，其实解决办法很简单，不知道为什么一直不更新，对应hivebug是HIVE-16958，我的报错信息如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptio...
java.io.IOException: java.lang.reflect.InvocationTargetException 问题的解决
923723914
02-17 2520
执行 select * from tb where createtime &gt;= '2014-02-13' and createtime &lt; '2014-02-14' limit 10; 报下列错误： Error during job, obtaining debugging information... Job Tracking URL: http://192-168-...
java 连接HABSE报错 java.io.IOException: java.lang.reflect.InvocationTargetException
x_xx_xxx_xxxx的博客
04-24 1万+
卸载JAVA 的 工具 ： https://java.com/en/download/uninstalltool.jsp 老版本 eclispe    :    http://pan.baidu.com/s/1nvTNKKx本人开发环境：Win10  JDK 10.0.1 jre 10.0.1 HBASE 1.1.2eclispe 报错如下：Java错误主要信息：java.io.IOExcepti...
Hive报错java.lang.NoClassDefFoundError: org/codehaus/jackson/JsonFactory
maozhuxigood
08-25 214
一 问题 Hive报错java.lang.NoClassDefFoundError:org/codehaus/jackson/JsonFactory 二 原因 Hadoop版本是0.20.2.$HADOOP_HOME/lib中不包含 jackson-core-asl-1.8.8.jar jackson-jaxrs-1.8.8.jar jackson-...
hadoop-lzo 安装配置
qq_39297673的博客
05-10 371
前言： 在hive中要想使用lzo的格式,需要配置安装好lzo工具并且在hadoop的core-site.xml与mapred-site.xml中配置相应的配置 一、编译安装lzo与lzop 1.下载编译安装lzo文件 2、编译安装(保证主机上有gcc与g++) tar -xvzf lzo-2.10.tar.gz cd lzo-2.10 ./configure --enable-shared make -j 10 make install cp /usr/local/lib/*lzo* /us
Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object
weixin_43586713的博客
06-19 3074
原本之前的虚拟机还是好好的,Hive能够正常使用.这两天HIVE在执行select查询语句的时候,突然遇到了这个报错.Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object 从字面上翻译是配置文件错误,但是也没有说明到底是哪个配置文件错误.想改也无从下手.于是乎,到/opt/module/hive/conf/logs/hive.log下去查找报错的原因: java.io
Hive报错整理02
qq_33536353的博客
03-17 1372
Malformed ORC file hdfs://XXX. Invalid postscript.Diagnostic
hive怎么增加lzo索引
最新发布
04-11
Hive可以通过使用Hadoop库中的Lzo压缩进行索引扫描提高查询效率，其中需要在Hive表定义中指定lzo压缩，并设置mapreduce.job.inputformat.class属性为com.hadoop.mapred.DeprecatedLzoTextInputFormat。然后在建表时增加如下语句：CREATE TABLE table_name (column_name data_type) STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION 'hdfs://location on hdfs' TBLPROPERTIES ('lzo.index'='true', 'lzo.index.interval'='64K');
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值