创建GZIP压缩格式的HIVE表

最新推荐文章于 2024-01-13 21:41:01 发布

大数据部

最新推荐文章于 2024-01-13 21:41:01 发布

阅读量5.2k

点赞数 3

分类专栏：批量:Hive/Spark/Hbas 文章标签： hive hadoop linux

本文链接：https://blog.csdn.net/BDCHome/article/details/45534687

版权

本文介绍了如何在HIVE中创建GZIP压缩格式的表，包括通过设置HIVE和MAPREDUCE的压缩参数，并展示了插入数据到GZIP压缩表的SQL语句。GZIP压缩在Linux中广泛使用，具有良好的压缩比率和SPARK-SQL的兼容性。

摘要由CSDN通过智能技术生成

[Author]: kwu

GZIP为Linux系统中最常用的压缩格式，创建GZIP压缩格式的HIVE表具体步骤如下。

1、以 STORED AS TEXTFILE 为存储格式创建HIVE表
CREATE TABLE TRACKLOG (DATEDAY STRING COMMENT "日期",IP STRING COMMENT "IP",COOKIEID STRING COMMENT "用户COOKIE",USERID STRING COMMENT "用户ID", LOGSERVERIP STRING COMMENT "记录日志服务器IP",REFERER STRING COMMENT "来源：用户浏览网页的REFER",REQUESTURL STRING COMMENT "访问网址：当前访问网址")
PARTITIONED BY(DAY STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' '
STORED AS TEXTFILE ;

2、TEXTFILE格式可使用普通文本格式数据、也可使用GZIP的压缩格式，HIVE做自动解压GZIP的格式。

3、GZIP的压缩方法：
压缩当前目录下所有的 *.dat 文件
gzip *.dat

4、装载数据到HIVE分区表中
LOAD DATA LOCAL INPATH '/DISKG/BIGDATA/10-0-251-146/TRACKLOG/20150123*.DAT' OVERWRITE INTO TABLE TRACKLOG PARTITION (DAY='20150123