SequenceFile doesn't work with GzipCodec without native-hadoop code的解决办法

前几天将hive的版本由 0.8.1升级到 0.11.0 ,新版本新增了很多内置函数,执行效率比之前也有了一定的提升,
但是有新的问题产生,问题如下:  
create table tab1
   (
    id int,
   name string
   );
  
   create table tab2
   (
    id int
   );
   
   select a.name,count(*)
   from tab1 a left outer join tab2 b on a.id = b.id
   group by a.name;

执行上面的语句的时候
会报错,错误信息:
Diagnostic Messages for this Task:
java.lang.RuntimeException: Hive Runtime Error while closing operators: java.lang.IllegalArgumentException: SequenceFile doesn't work with GzipCodec without native-hadoop code!
        at org.apache.hadoop.hive.ql.exec.ExecReducer.close(ExecReducer.java:313)
        at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:479)
        at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:266)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
        at org.apache.hadoop.mapred.Child.main(Child.java:260)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: SequenceFile doesn't work with GzipCodec without native-hadoop code!
        at org.apache.hadoop.hive.ql.io.HiveFileFormatUtils.getHiveRecordWriter(HiveFileFormatUtils.java:240)
        at org.apache.hadoop.hive.ql.exec.FileSink
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

通过对比发现,有个配置参数的默认值是不同的。

hive.exec.compress.intermediate=false   0.8.1

hive.exec.compress.intermediate=ture   0.11.0

将这个参数修改为false之后 这个问题就修复了。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop 是一个基于分布式文件系统 HDFS 的分布式计算框架,它在大数据处理领域有着广泛的应用。在 Hadoop 中,我们经常需要处理大量的数据,这些数据的存储和读取效率对于整个系统的性能至关重要。因此,Hadoop 提供了一些文件格式和数据结构,用于优化大数据的存储和处理效率。其中,SequenceFile 和 MapFile 是两种常用的文件格式和数据结构。 SequenceFileHadoop 中一种二进制文件格式,它是一种简单的键-值对文件格式,可以存储任意类型的数据。SequenceFile 的优点是可以高效地存储和读取大量的小文件,因为它可以将多个小文件合并成一个 SequenceFile,从而减少了文件数量,提高了文件访问效率。此外,SequenceFile 还支持压缩和分块等特性,可以进一步提高存储和读取效率。 MapFileHadoop 中另一种二进制文件格式,它是一种基于键-值对的数据结构。MapFile 将键值对按键排序,并将其存储为一个二叉查找树。因此,MapFile 可以高效地支持键值对的插入、查找和遍历操作。MapFile 还支持分块和压缩等特性,可以进一步提高存储和读取效率。 总的来说,SequenceFile 和 MapFile 都是 Hadoop 中非常重要的文件格式和数据结构,它们可以帮助我们高效地存储和处理大量的数据。在实际应用中,我们需要根据具体的业务需求选择合适的文件格式和数据结构。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值