HDFS文件压缩工具，支持各种压缩格式

最新推荐文章于 2023-07-27 13:58:29 发布
最新推荐文章于 2023-07-27 13:58:29 发布
阅读量365 收藏 1
点赞数 1
分类专栏： 集群运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw514124202/article/details/102744277
版权
工具文档

https://github.com/mullerhai/HsunTzu/blob/master/README.md

核心方法调用

将textfile文件类型 压缩成 gz文件类型

hadoop jar /data/soft/HsunTzu/HsunTzuPro-beat-2.0.jar "${COMPRESS_HDFS_PATH}" "/" "1" "/data/soft/HsunTzu/info.properties" "2" "0"
使用效果
压缩前

在这里插入图片描述

压缩中

在这里插入图片描述

压缩后

在这里插入图片描述

参照Github Very Fast Hdfs Origin File To Compress Decompress Untar Tarball

阿武z
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop 四种压缩格式
Java海洋
09-22 9160
1 gzip压缩 优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 缺点：不支持split。 应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件...
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩逻辑，需要前置条件：部署lzo环境 更多参考 工程不够强大，目前利用 hadoop api 按目录级压缩，已测试 。还少其他压缩策略的实现及测试，或其他方式 MR 、streaming 等，欢迎提交 pull request ，thanks build mvn clean package run hadoop jar hdfs-compress-0.0.1.jar <input> <output> input : 待压缩的文件或路径 output : 输出的路径,需要一个只有1级目录的文件夹 “e.g /home/yourname/w
Hadoop_HDFS_常见的文件组织格式与压缩格式
最新发布
迎难而上
07-27 2394
参考资料1.2.本文主要介绍下HDFS上的常见文件格式和压缩格式总结 :HDFS 中常见的文件存储格式HDFS中常见的文件压缩方式。
HDFS配置的缓存和压缩策略
互联网知识分享
07-23 589
接着通过压缩编解码器创建压缩输出流，将数据读取并压缩后写入输出流。在解压缩文件时，同样需要创建输入流和输出流，并根据压缩编解码器创建解压缩输入流。块压缩模式将按照文件块进行压缩，而记录压缩模式将按照每条记录进行压缩。的缓存策略主要有以下几个方面的参数配置：读取缓存、写入缓存、以及缓存提供者。的压缩策略主要有以下几个方面的参数配置：压缩算法、压缩模式、以及压缩块大小。配置缓存和压缩策略的原理和相关参数，并提供完整的代码注释案例。的压缩块大小可以通过以下参数进行配置，默认值为。的读取缓存使用的是内存映射文件（
HDFS文件的压缩
SunnyRivers
01-04 7558
前言 新搭建的集群，需要进行各种测试，于是让一个同事导入一些测试数据，大约1.4T左右。我进行了一个简单的hive测试 //故意增加shuffle SELECT DISTINCT(COUNT id) FROM test_table; 谁知道…就这么一个简单的SQL，半个小时过去后，仍然没有出结果 追查原因 原来同事从ftp拉取过来的数据是gzip格式的，他直接如到Hive表中…，而gzip格式的...
DataX：通用数据采集工具，源自阿里巴巴DataX，增加了更多的读写插件，HDFS读写功能增强，支持Cassandra，ClickHouse，DBF，Hive，InfluxDB，Kudu，MySQL，Oracle，Presto（Trino），PostgreSQL ，SQL Server等数据源
02-03
罗列如下关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持hdfswriter增加了对十进制数据类型格式的支持hdfswriter增加了对Parquet文件格式的支持hdfswrite增加了目录覆盖模式hdfswriter增加了更多的文件...
HadoopFileCompress.zip
08-16
Java代码编写的工具类，用来压缩hdfs上的文件，压缩后的格式是gz格式
ApacheHive
02-24
ApacheHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表...支持多种压缩格式：bzip2、gzip、lzo、snappy等。通常采用parquet+snappy格式存储。支持计算引擎：原生支持引擎为MapReduce。
【63课时完整版】大数据实践HIVE详解及实战
09-20
46.常见的压缩格式及MapReduce的压缩介绍 47.Hadoop中编译配置Snappy压缩 48.Hadoop及Hive配置支持snappy压缩 49.Hive中的常见调优 50.Hive中的数据倾斜及解决方案-三种join方式 51.Hive中的数据倾斜及解决方案-...
Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )
12-08
3　数据序列化――处理文本文件及其他格式的文件 3．1　了解MapReduce 中的输入和输出 3．1．1　数据输入 3．1．2　数据输出 3．2　处理常见的序列化格式 3．2．1　XML ． 技术点12　MapReduce 和XML 3．2．2　JSON...
传输到hdfs数据，进行压缩
02-13
对hdfs进行压缩配置，将要上传到hdfs中的数据实现压缩，需要进行以上配置，此资源为编译好的，只要在安装好hadoop的基础上按照操作步骤一步一步进行即可实现
HDFS的文件压缩格式
lunan的博客
08-01 4365
Hadoop默认支持Gzip和BZip2的解压缩方式，可直接读取（hadoop fs -text命令），但hive只能用TEXTFILE格式的表加载，然后再insertoverwrite 到其他格式的表（比如SEQUENCEFILE表），如果hive其他格式的表想要直接加载压缩格式数据，需要重写INPUTFORMAT和OUTPUTFORMAT文件类。 BZip2和LZO（提供block级的压缩）...
4种常用压缩格式在hadoop中的应用
weixin_34377065的博客
05-01 278
目前在hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分li...
HDFS文件压缩
沐雨金鳞
01-26 6915
减少储存文件所需空间，还可以降低其在网络上传输的时间。 hadoop下各种压缩算法的压缩比 压缩算法 原始文件大小 压缩后的文件大小 压缩速度 解压速度 gzip 8.3GB 1.8GB 17.5MB/s 58MB/s bzip2 8.3GB 1.1GB 2.4MB/s
HDFS支持的存储格式及压缩算法？
TYM112的博客
07-02 2566
1.存储格式 (1) SequenceFile 以二进制键值对的形式存储数据,支持三种记录存储方式。. ➢无压缩: io效率较差，相比压缩，不压缩的情况下没有什么优势。 ➢记录级压缩:对每条记录都压缩，这种压缩效率比较一 般。 ➢块级压缩: 这里的块不同于HDFS中的块的概念.这种方式会将达到指定块大小的二进制数据压缩为一个块。 (2) Avro 将数据定义和数据- -起存储在一条消息中， 其中数据定义以JSON格式存储，数据以二 进制格式存储。Avro 标记用于将大型数据集分割成适合MapReduce处理
hadoop深入研究:(七)——压缩
weixin_33975951的博客
06-24 183
转载请标明出处：hadoop深入研究:(七)——压缩 文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。 hadoop里支持很多种压缩格式，我们看一个表格： DEFLATE是同时使用了LZ77算法与哈夫曼编码（Huffman Coding）的一个无损数据压缩算法，源代...
HADOOP与HDFS数据压缩格式
weixin_30951231的博客
11-30 338
1、cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上，需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据。在大多数情况下，每个的原则都类似。 您需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 IO，以及在网络中发送数据所需的网络带宽。正确平衡这些因素有赖于...
HIVE 字段级血缘分析 写入Neo4j
热门推荐
xw514124202的博客
06-28 1万+
Step 1. 利用HIVE Hook LineageLogger 获取字段之间的依赖关系 注意：LineageLogger Hook 是Hive2.0版本之后存在的，如果HIVE版本不够需要升级HIVE版本。PS.CDH有的HIVE版本添加此功能 下面以hive 2.5.3版本为例 添加参数 vim /usr/local/hive/conf/hive-site.xml <property&...
生产环境spark hdfs最优的文件格式和压缩方式组合
06-09
在生产环境中，Spark和HDFS中最优的文件格式和压缩方式组合可以根据不同的场景和需求而有所不同。...此外，不同的数据处理引擎和工具对文件格式和压缩方式的支持程度也有所不同，需要根据实际情况做出选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值