hadoop lzo格式

最新推荐文章于 2023-08-22 14:28:23 发布

csuzhaobo

最新推荐文章于 2023-08-22 14:28:23 发布

阅读量1.5k

点赞数

分类专栏： BigData 文章标签： Hadoop

本文链接：https://blog.csdn.net/csuzhaobo/article/details/8666839

版权

BigData 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

set mapred.compress.map.output=true;
set mapred.map.output.compression.codec=com.hadoop.compression.lzo.LzoCodec;
set mapred.output.compress=true;
set mapred.output.compression.type=BLOCK;

set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;

set hive.exec.compress.output=true;
set hive.exec.compress.intermediate=true;

set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.LzoCodec;

INSERT OVERWRITE TABLE XXX SELECT * FROM YYY;

如果不设置hive.intermediate.compression.codec=org.apache.hadoop.io.compress.LzoCodec，则会报错"java.io.EOFException: Premature EOF from inputStream",原因应该是中间数据会按默认的格式压缩(.deflate)，导致读入失败。

参考：

http://superlxw1234.iteye.com/blog/1741103

http://web.archiveorange.com/archive/v/5nvvZ7eWCDGq6ExVf3zX