hive解析lzo文件失败,No LZO codec found, cannot run

最新推荐文章于 2022-10-17 10:56:14 发布

beat_it

最新推荐文章于 2022-10-17 10:56:14 发布

阅读量1.9k

点赞数

分类专栏： hadoop hive 文章标签： hadoop hive lzo No LZO codec found cannot run

在尝试使用Hive解析LZO格式文件时遇到错误'No LZO codec found, cannot run'。问题源于hadoop集群缺少hadoop-lzo-*.jar或者相关配置未在core-site.xml中正确设置。解决方法包括检查HADOOP_CLASSPATH中是否包含hadoop-lzo-*.jar，以及core-site.xml中'io.compression.codecs'和'io.compression.codec.lzo.class'的配置是否正确。确保这两个条件满足即可正常运行。" 122344575,9737436,字节跳动测试开发面试经验分享,"['测试用例', '功能测试', '程序人生', '面试技巧', '技术面试']

摘要由CSDN通过智能技术生成

Hive创建外部表，指向lzo格式文件时，无法解析出数据，报错如下：

java.io.IOException: No LZO codec found, cannot run.

hiveserver2日志报错如下：

Diagnostic Messages for this Task:
Error: java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97)
at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:57)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:265)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.<init>(HadoopShimsSecure.java:212)
at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getRecordReader(HadoopShimsSecure.java:332)