一百一十七、Hadoop——GZIP压缩并解压HDFS中的文件

一、解压HDFS中的gzip压缩文件

首先，先把HDFS中的gzip压缩文件下载到本地

[root@hurys22 ~]# hdfs dfs -get  /rtp/statistics/statistics2023-05-17.csv.gz    /opt/hdfs_rtp/

然后，在/opt/hdfs_rtp/目录下查看文件

[root@hurys22 ~]# cd /opt/hdfs_rtp/
[root@hurys22 hdfs_rtp]# ls
evaluation2023-05-09.csv  evaluation2023-05-10.csv  evaluation2023-05-11.csv   statistics2023-05-17.csv.gz

接着，在/opt/hdfs_rtp/目录下解压文件

[root@hurys22 hdfs_rtp]# gzip -dv  statistics2023-05-17.csv.gz 
statistics2023-05-17.csv.gz:     85.0% -- replaced with statistics2023-05-17.csv

继而，再次查看文件

[root@hurys22 hdfs_rtp]# ls
evaluation2023-05-09.csv  evaluation2023-05-10.csv  evaluation2023-05-11.csv  statistics2023-05-17.csv

最后，查看解压后的文件前两行数据

[root@hurys22 hdfs_rtp]# head -2  statistics2023-05-17.csv 
device_no                ,cycle                ,coil_num                ,create_time                ,lane_no                ,section_no                ,coil_no                ,volume_sum                ,volume_person                ,volume_car_non                ,volume_car_small                ,volume_car_middle              ,volume_car_big                ,speed_avg                ,speed_85                ,occupancy                  ,headway                ,gap
radar-1083                ,95                ,2                ,2023-05-17 09:49:59                ,1    ,2                ,1                ,64                ,62                ,61                  ,65                ,85                ,53                ,84                ,43                  ,

二、gzip压缩文件

首先，在/opt/hdfs_rtp/目录下输入压缩命令

[root@hurys22 hdfs_rtp]# gzip  statistics2023-05-17.csv 

然后，在/opt/hdfs_rtp/目录下查看文件

[root@hurys22 hdfs_rtp]# ls
evaluation2023-05-09.csv  evaluation2023-05-10.csv  evaluation2023-05-11.csv  statistics2023-05-17.csv.gz