Hive,INPUTFORMAT的作用

最新推荐文章于 2024-08-07 09:33:40 发布

二十六画生的博客

最新推荐文章于 2024-08-07 09:33:40 发布

阅读量4.6k

点赞数 1

分类专栏： Hive Spark Hadoop MapReduce 文章标签： Hive INPUTFORMAT lzo

本文链接：https://blog.csdn.net/u010002184/article/details/103531785

版权

Hive Spark Hadoop MapReduce 专栏收录该内容

162 篇文章 2 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了在Hive中，INPUTFORMAT的重要性。当创建一个以lzo格式存储的表时，必须确保写入数据时使用对应的lzo格式，否则查询将无法返回结果。INPUTFORMAT决定了数据的读取方式，而OUTPUTFORMAT则影响数据的写入格式。

摘要由CSDN通过智能技术生成

建表语句：

CREATE EXTERNAL TABLE `app.table1`(
.....
)
PARTITIONED BY (
  `dt` string)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT --当查询时会用到，需要查询lzo格式的文件！！
  'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

表格式是lzo，查询时需要对lzo文件查询，所以在写入时，也需要写入lzo格式的文件！！

写表语句：

set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec;
-- 前三行很重要，指定表的数据文件是lzo格式