hdfs文件压缩

已于 2022-05-07 18:43:40 修改
阅读量2.2k 收藏 6
点赞数
分类专栏： 大数据 文章标签： mapreduce hadoop hdfs
于 2022-05-07 18:39:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javastart/article/details/124637010
版权

一、四种压缩格式

1 gzip压缩

优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。

缺点：不支持split。

应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件，运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序，streaming程序，和java写的mapreduce程序完 全和文本处理一样，压缩之后原来的程序不需要做任何修改。

2 lzo压缩

优点：压缩/解压速度也比较快，合理的压缩率；支持split，是hadoop中最流行的压缩格式；支持hadoop native库；可以在linux系统下安装lzop命令，使用方便。

缺点：压缩率比gzip要低一些；hadoop本身不支持，需要安装；在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）。

应用场景：一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越越明显。

3 snappy压缩

优点：高速压缩速度和合理的压缩率；支持hadoop native库。

缺点：不支持split；压缩率比gzip要低；hadoop本身不支持，需要安装；linux系统下没有对应的命令。

应用场景：当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。

4 bzip2压缩

优点：支持split；具有很高的压缩率，比gzip压缩率都高；hadoop本身支持，但不支持native；在linux系统下自带bzip2命令，使用方便。

缺点：压缩/解压速度慢；不支持native。

应用场景：适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式；或者输出之后的数据比较大，处理之后的数据 需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程 序（即应用程序不需要修改）的情况。

最后用一个表格比较上述4种压缩格式的特征（优缺点）：

4种压缩格式的特征的比较

压缩格式splitnative压缩率速度是否hadoop自带linux命令换成压缩格式后，原来的应用程序是否要修改

gzip否是很高比较快是，直接使用有和文本处理一样，不需要修改

lzo是是比较高很快否，需要安装有需要建索引，还需要指定输入格式

snappy否是比较高很快否，需要安装没有和文本处理一样，不需要修改

bzip2是否最高慢是，直接使用有和文本处理一样，不需要修改

二、压缩模式设置

TEXTFILE

--创建一个表，格式为文本文件： 

CREATE EXTERNAL TABLE student_text (id STRING, name STRING) 

ROW FORMAT DELIMITED  

FIELDS TERMINATEDBY ','  

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--导入数据到此表中,将启动MR任务 

INSERT OVERWRITE TABLE student_text SELECT * FROM student; 

可查看到生成的数据文件的格式为非压缩的文本文件：

hdfs dfs -cat /user/hive/warehouse/student_text/000000_0 



1001810081,cheyo 

1001810082,pku 

1001810083,rocky 

1001810084,stephen 

2002820081,sql 

2002820082,hello 

2002820083,hijj 

3001810081,hhhhhhh 

3001810082,abbbbbb 

文本文件,DEFLATE压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_text_def (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  

--导入数据： 

INSERT OVERWRITE TABLE student_text_def SELECT * FROM student; 

--查看数据 

SELECT * FROM student_text_def; 

查看数据文件,可看到数据文件为多个.deflate文件。

hdfs dfs -ls /user/hive/warehouse/student_text_def/ 

-rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000000_0.deflate 

-rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000001_0.deflate 

-rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000002_0.deflate 

文本文件,Gzip压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_text_gzip (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

--导入数据： 

INSERT OVERWRITE TABLE student_text_gzip SELECT * FROM student; 

--查看数据 

SELECT * FROM student_text_gzip; 

查看数据文件,可看到数据文件为多个.gz文件。解开.gz文件，可以看到明文文本：

hdfs dfs -ls /user/hive/warehouse/student_text_gzip/ 

-rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000000_0.gz 

-rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000001_0.gz 

-rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000002_0.gz 

文本文件,Bzip2压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_text_bzip2 (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩类型为Bzip2压缩： 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_bzip2 SELECT * FROM student; 

--查看数据： 

SELECT * FROM student_text_bzip2; 

查看数据文件,可看到数据文件为多个.bz2文件。解开.bz2文件，可以看到明文文本：

hdfs dfs -ls /user/hive/warehouse/student_text_bzip2 

-rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000000_0.bz2 

-rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000001_0.bz2 

-rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000002_0.bz2 

文本文件,lzo压缩

--创建表 

CREATE TABLE student_text_lzo (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置为LZO压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_lzo SELECT * FROM student; 

--查询数据 

SELECT * FROM student_text_lzo; 

查看数据文件,可看到数据文件为多个.lzo压缩。解开.lzo文件，可以看到明文文本。

未实测,需要安装lzop库

文本文件,lz4压缩

--创建表 

CREATE TABLE student_text_lz4 (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置为LZ4压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.Lz4Codec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_lz4 SELECT * FROM student; 

查看数据文件,可看到数据文件为多个.lz4压缩。使用cat查看.lz4文件，可以看到是压缩后的文本。

hdfs dfs -ls /user/hive/warehouse/student_text_lz4 

-rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000000_0.lz4 

-rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000001_0.lz4 

-rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000002_0.lz4 

文本文件,Snappy压缩

--创建表 

CREATE TABLE student_text_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_snappy SELECT * FROM student; 

--查询数据 

SELECT * FROM student_text_snappy; 

查看数据文件,可看到数据文件为多个.snappy压缩文件。使用cat查看.snappy文件，可以看到是压缩后的文本:

hdfs dfs -ls /user/hive/warehouse/student_text_snappy 

Found 3 items 

-rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000000_0.snappy 

-rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000001_0.snappy 

-rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000002_0.snappy 

SEQUENCEFILE

Sequence文件,DEFLATE压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_seq_def (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS SEQUENCEFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  

--导入数据： 

INSERT OVERWRITE TABLE student_seq_def SELECT * FROM student; 

--查看数据 

SELECT * FROM student_seq_def; 

查看数据文件,是一个密文的文件.

hdfs dfs -ls /user/hive/warehouse/student_seq_def/ 

-rw-r--r--  /user/hive/warehouse/student_seq_def/000000_0 

Sequence文件,Gzip压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_seq_gzip (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS SEQUENCEFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

--导入数据： 

INSERT OVERWRITE TABLE student_seq_gzip SELECT * FROM student; 

--查看数据 

SELECT * FROM student_seq_gzip; 

查看数据文件,是一个密文的文件，无法通过gzip解压：

hdfs dfs -ls /user/hive/warehouse/student_seq_gzip/ 

-rw-r--r--  /user/hive/warehouse/student_seq_gzip/000000_0 

RCFILE

RCFILE,Gzip压缩

CREATE TABLE student_rcfile_gzip (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS RCFILE; 



--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

--导入数据： 

INSERT OVERWRITE TABLE student_rcfile_gzip SELECT id,name FROM student; 

--查看数据 

SELECT * FROM student_rcfile_gzip; 

ORCFile

ORCFile有自己的参数设置压缩格式，一般不使用上述Hive参数设置压缩参数。

ORCFile,ZLIB压缩

--创建表 

CREATE TABLE student_orcfile_zlib (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS ORCFILE TBLPROPERTIES ("orc.compress"="ZLIB"); 



--导入数据 

INSERT OVERWRITE TABLE student_orcfile_zlib SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_orcfile_zlib; 

ORCFILE,Snappy压缩

--创建表 

CREATE TABLE student_orcfile_snappy2 (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS ORCFILE TBLPROPERTIES ("orc.compress"="SNAPPY"); 



--导入数据 

INSERT OVERWRITE TABLE student_orcfile_snappy2 SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_orcfile_snappy2; 

一般不使用下述方式。下述方式压缩后，结果与上述同类型压缩(SNAPPY)不同。具体原因待进一步研究。

--创建表 

CREATE TABLE student_orcfile_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS ORCFILE; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_orcfile_snappy SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_orcfile_snappy; 

Parquet

Parquet,Snappy压缩

--创建表 

CREATE TABLE student_parquet_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS PARQUET; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_parquet_snappy SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_parquet_snappy; 

Avro

Avro,Snappy压缩

--创建表 

CREATE TABLE student_avro_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS AVRO; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_avro_snappy SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_avro_snappy; 

javastart
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop 四种压缩格式
Java海洋
09-22 9163
1 gzip压缩 优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 缺点：不支持split。 应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件...
old-data-import:将基于 parquet 的文件写入 HDFS 文件系统（在 Cloudera 上）并使用 Impala 进行访问
06-28
介绍 使用镶木地板将文件写入 HDFS 的小示例。 模式和类生成 schema 定义在 src/main/avro/table.avsc，用 mvn generate-sources 生成 黑斑羚 创建外部 Impala 表的语句显示为日志消息。 它必须只执行一次。 如果您添加其他数据文件，请不要忘记使用刷新 refresh <tableName>; 查看 使用显示压缩的镶木地板文件。 问题及解决方案 异常：引起：org.apache.hadoop.ipc.RemoteException：权限被拒绝 要访问集群的 HDFS 文件系统，当前用户 $USER 必须在 namenode 上拥有一个帐户并具有对该目录的写入权限。 对于 Cloudera-VM 这意味着（对于 $USER == mlesniak） sudo adduser mlesniak sudo usermod -a -G
BD总结第一天
一位即将谢顶的BD程序牛
09-21 402
总结Hive、Spark、Kafka重点
Uber 如何在 Apache Parquet 中使用 ZSTD 压缩减少大量存储空间实践
过往记忆大数据
03-14 2991
背景我们基于 Apache Hadoop® 的数据平台以最小的延迟支持了数百 PB 的分析数据，并将其存储在基于 HDFS 之上的数据湖中。我们使用 Apache Hudi™ 作为我们表的...
lz4.tar.gz
08-23
hadoop 的 lz4 压缩算法的源码包lz4.tar.gz，tar开，在目录下执行 &> sudo make && make install 即可安装 lz4
Hadoop_HDFS_常见的文件组织格式与压缩格式
迎难而上
07-27 2425
参考资料1.2.本文主要介绍下HDFS上的常见文件格式和压缩格式总结 :HDFS 中常见的文件存储格式HDFS中常见的文件压缩方式。
HDFS配置的缓存和压缩策略
互联网知识分享
07-23 595
接着通过压缩编解码器创建压缩输出流，将数据读取并压缩后写入输出流。在解压缩文件时，同样需要创建输入流和输出流，并根据压缩编解码器创建解压缩输入流。块压缩模式将按照文件块进行压缩，而记录压缩模式将按照每条记录进行压缩。的缓存策略主要有以下几个方面的参数配置：读取缓存、写入缓存、以及缓存提供者。的压缩策略主要有以下几个方面的参数配置：压缩算法、压缩模式、以及压缩块大小。配置缓存和压缩策略的原理和相关参数，并提供完整的代码注释案例。的压缩块大小可以通过以下参数进行配置，默认值为。的读取缓存使用的是内存映射文件（
Hadoop HDFS常用文件操作命令
onlyyou0516的博客
05-15 819
hadoop HDFS常用文件操作命令
HDFS文件的压缩
SunnyRivers
01-04 7571
前言 新搭建的集群，需要进行各种测试，于是让一个同事导入一些测试数据，大约1.4T左右。我进行了一个简单的hive测试 //故意增加shuffle SELECT DISTINCT(COUNT id) FROM test_table; 谁知道…就这么一个简单的SQL，半个小时过去后，仍然没有出结果 追查原因 原来同事从ftp拉取过来的数据是gzip格式的，他直接如到Hive表中…，而gzip格式的...
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩...
python解析hdfs文件和实现方式
11-24
python解析hdfs文件内容生成本地文件、及相关插件包安装实现方式
大文件分割成小文件，文件压缩
12-11
大文件分割成小文件，文件压缩（zlib)
spark-scala-hdfs-docker-example：使用Scala的Spark将文件写入HDFS，并使用Docker“ scale”自动添加新的Spark工人
02-19
使用Scala的Spark可以使用Docker“ scale”自动添加新的Spark工人，从而将文件读/写到HDFS 默认值： 工作区目录位于/ app Jar文件位于/app/app.jar。 主类是app.Main 如果要在Sparky，Scala，远程Spark Master...
MapReduce笔记
qq_52010229的博客
04-28 801
Map分裂输出，通过哈希函数将其写入Reduce之前的预处理文件。每个Reduce任务从所有Map worker处获取其中间输出。Master将Map分配给worker，直到所有的Map完成。在所有的Map完成之后，Master分配Reduce任务。一个Master，负责向worker分配任务并记录进度。每个Reduce在GFS上写入一个单独的输出文件。Map将输出(中间数据)写入本地磁盘。worker崩溃后恢复的细节。MR如何最小化网络的使用。MR如何获得好的负载均衡。
MapReduce概述
早拾碗吧的博客
04-30 1000
首先我们需要先了解一个概念：批处理模式批处理模式是一种最早进行大规模数据处理的模式。批处理非常适合需要访问整个数据集合才能完成的计算工作。批处理主要操作大规模静态数据集,并在整体数据处理完毕后返回结果。例如,在计算总数和平均数时,必须将数据集作为一个整体加以处理,而不能将其视作多条记录的集合。这些操作要求在计算进行过程中数据维持自己的状态。需要处理大量数据的任务通常最适合用批处理模式进行处理,批处理系统在设计过程中就充分考虑了数据的量,可提供充足的处理资源。
MapReduce的Shuffle过程
早拾碗吧的博客
05-06 240
Shuffle 阶段可以分为 Map 端的 Shuffle 阶段和 Reduce 端的 Shuffle 阶段.Shuffle是指从 Map 产生输出开始,包括系统执行排序以及传送Map输出到Reduce作为输入的过程.
Hadoop3：集群搭建及常用命令与shell脚本整理（入门篇，从零开始搭建）
Brave_heart4pzj的博客
04-29 1053
Hadoop
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2802
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
锂电池涂布模头，全球前7强生产商排名及市场份额.docx
最新发布
05-06
锂电池涂布模头，全球前7强生产商排名及市场份额
hdfs解压缩文件命令
09-02
HDFS中的文件无法直接解压缩，但可以通过以下步骤将压缩文件解压缩到HDFS中： 1. 将压缩文件上传到HDFS： ``` hdfs dfs -put <压缩文件路径> <目标路径> ``` 2. 使用Hadoop的`distcp`命令将压缩文件复制到本地文件系统： ``` hadoop distcp <HDFS路径>/<压缩文件名> <本地目标路径> ``` 3. 在本地文件系统中解压缩文件： ``` unzip <本地目标路径>/<压缩文件名> ``` 4. 将解压后的文件重新上传到HDFS： ``` hdfs dfs -put <解压后的文件路径> <目标路径> ``` 请确保在执行上述命令时，替换尖括号中的实际路径和文件名。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值