HDFS的文件压缩格式

最新推荐文章于 2024-08-14 21:45:41 发布
最新推荐文章于 2024-08-14 21:45:41 发布
阅读量4.4k 收藏 2
点赞数
文章标签： HDFS 压缩 ORC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lunan/article/details/81328719
版权

Hadoop默认支持Gzip和BZip2的解压缩方式，可直接读取（hadoop fs -text命令），但hive只能用TEXTFILE格式的表加载，然后再insertoverwrite 到其他格式的表（比如SEQUENCEFILE表），如果hive其他格式的表想要直接加载压缩格式数据，需要重写INPUTFORMAT和OUTPUTFORMAT文件类。

BZip2和LZO（提供block级的压缩）支持文件切分，Gzip和Snappy则不支持。 不支持则hadoop不能并行的进行map操作。

hadoop中支持的压缩格式
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gzip org.apache.hadoop.io.compress.GzipCodec
bzip org.apache.hadoop.io.compress.BZip2Codec
Snappy org.apache.hadoop.io.compress.SnappyCodec
LZO:
org.apache.hadoop.io.compress.LzopCodec或者com.hadoop.compression.lzo.LzopCodec;
org.apache.hadoop.io.compress.LzoCodec或者com.hadoop.compression.lzo.LzoCodec;

可以查看目前hive已加载的所以编解码器
set io.compression.codecs;

中间结果压缩
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.Hadoop.io.compress.LzoCodec;
map结果压缩最好使用snappy的，因为压缩的前提是map输出非常大，影响io，如果中间结果数据集比较小反而会拖慢速度。

设置map输出结果压缩
Set mapred.map.output.compression.codec=org.apache.Hadoop.io.compress.SnappyCodec;

最终输出结果压缩
hive.exec.compress.output和mapred.output.compression.codec是hive-site.xml中的配置参数，
而mapred.output.compress 和mapred.output.compression.codec 是hdfs-site.xml的配置参数。
都可以配置实现。

Hive格式各种格式下不同压缩算法的比较

Hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）

Hive各种文件格式与压缩方式的结合测试

Hive支持的文件格式与压缩算法

鲁鲁517
关注
hadoop 四种压缩格式
Java海洋
09-22 9252
1 gzip压缩 优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。 缺点：不支持split。 应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件...
HDFS文件格式及压缩
JustinMars的博客
08-18 723
选择文件格式和压缩方式时，需要根据数据类型、存储需求和处理性能之间的权衡来进行决策。例如，Parquet和ORC适用于大规模结构化数据，而SequenceFile适用于键-值对，Avro适用于半结构化数据。压缩方式的选择取决于读写性能和存储空间的权衡。
hadoop深入研究:(七)——压缩
weixin_33975951的博客
06-24 211
转载请标明出处：hadoop深入研究:(七)——压缩 文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。 hadoop里支持很多种压缩格式，我们看一个表格： DEFLATE是同时使用了LZ77算法与哈夫曼编码（Huffman Coding）的一个无损数据压缩算法，源代...
Hdfs(三)block
最新发布
技术博客
08-14 332
3. 如果一个文件不足一个Block的指定大小，这个文件的大小就是它所对应的Block的大小。例如一个文件是90M，那么对应的Block就是80M。属性dfs.blocksize指定的值实际上可以为一个Block的最大容量。可以通过dfs.blocksize属性来设置，放在hdfs-site.xml文件中，单位是字节。1. Block是HDFS中数据存储的基本形式，上传到HDFS上的数据最终以Block的形式落地到DataNode的磁盘上。Hadoop中的HDFS组件是专门存储数据的。
HDFS文件的压缩
SunnyRivers
01-04 7884
前言 新搭建的集群，需要进行各种测试，于是让一个同事导入一些测试数据，大约1.4T左右。我进行了一个简单的hive测试 //故意增加shuffle SELECT DISTINCT(COUNT id) FROM test_table; 谁知道…就这么一个简单的SQL，半个小时过去后，仍然没有出结果 追查原因 原来同事从ftp拉取过来的数据是gzip格式的，他直接如到Hive表中…，而gzip格式的...
4种常用压缩格式在hadoop中的应用
weixin_34377065的博客
05-01 300
目前在hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分li...
HADOOP与HDFS数据压缩格式
weixin_30951231的博客
11-30 360
1、cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上，需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据。在大多数情况下，每个的原则都类似。 您需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 IO，以及在网络中发送数据所需的网络带宽。正确平衡这些因素有赖于...
flink写入hdfs orc格式文件
weixin_47681367的博客
10-19 1606
flink写入hdfs orc格式文件；flink 写orc版本和hdfs集群版本不兼容问题处理
hdfs orc格式_大数据：Hive - ORC 文件存储格式
weixin_39854369的博客
12-20 645
一、ORC File文件结构ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它...
通过Flink将数据以压缩的格式写入HDFS
javawins的专栏
01-25 5265
在Flink中我们可以很容易的使用内置的API来读取HDFS上的压缩文件，内置支持的压缩格式包括.deflate，.gz, .gzip，.bz2以及.xz等。 但是如果我们想使用Flink内置sink API将数据以压缩的格式写入到HDFS上，好像并没有找到有API直接支持（如果不是这样的，欢迎留言纠正）。本文将介绍如何将数据以gz压缩格式将处理后的数据写入到HDFS上。主要实现代码如下： ...
hdfs orc格式_Hadoop全家桶-ORC文件格式
weixin_39755824的博客
12-20 1938
ORCFile原理ORCFile是什么？ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式。ORCFile作用用于降低Hadoop数据存储空间和加速Hive查询速度。ORCFile演变史TEXTFile -> 列式存储 -> RCFile ->ORCFile本文会从最基本TEXTFile行式存储讲起，逐步加深对O...
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩逻辑，需要前置条件：部署lzo环境 更多参考 工程不够强大，目前利用 hadoop api 按目录级压缩，已测试 。还少其他压缩策略的实现及测试，或其他方式 MR 、streaming 等，欢迎提交 pull request ，thanks build mvn clean package run hadoop jar hdfs-compress-0.0.1.jar <input> <output> input : 待压缩的文件或路径 output : 输出的路径,需要一个只有1级目录的文件夹 “e.g /home/yourname/w
传输到hdfs数据，进行压缩
02-13
对hdfs进行压缩配置，将要上传到hdfs中的数据实现压缩，需要进行以上配置，此资源为编译好的，只要在安装好hadoop的基础上按照操作步骤一步一步进行即可实现
【图文详细 】HDFS面试题：hdfs 的数据压缩算法？
谦卑t
11-29 1332
(1) Gzip 压缩 优点：压缩率比较高，而且压缩/解压速度也比较快； hadoop 本身支持，在应用中处理gzip 格式的文件就和直接处理文本一样；大部分 linux 系统都自带 gzip 命令，使用方便. 缺点：不支持 split。 应用场景： 当每个文件压缩之后在 130M 以内的（1 个块大小内），都可以考虑用 gzip压缩格式。 例如说一天或者一个小时的日志压缩成一个 gzip ...
HDFS中的压缩与解压缩机制
热门推荐
肖韬的BLOG
08-14 1万+
我们可以把数据文件压缩后再存入HDFS，以节省存储空间。但是，在使用MapReduce处理压缩文件时，必须考虑压缩文件的可分割性。目前，Hadoop支持以下几种压缩格式 压缩格式 UNIX工具 算      法 文件扩展名 支持多文件 可分割 DEFLATE 无 DEFLATE .deflate No No gzip gzip DEFL
HDFS API操作
shenhao-stu的博客
04-04 387
HDFS API操作 实验环境 Linux Ubuntu 16.04 前提条件： 1）Java 运行环境部署完成 2）Hadoop 的单点部署完成 上述前提条件，我们已经为你准备就绪了。 实验内容 在上述前提条件下，学习使用HDFS Java API编程实验。 实验步骤 1.点击桌面的"命令行终端"，打开新的命令行窗口 2.启动HDFS 启动HDFS，在命令行窗口输入下面的命令： /apps/hadoop/sbin/start-dfs.sh 运行后显示如下，根据日志显示，分别启动了NameNode、
Hadoop_HDFS_常见的文件组织格式与压缩格式
迎难而上
07-27 3213
参考资料1.2.本文主要介绍下HDFS上的常见文件格式和压缩格式总结 :HDFS 中常见的文件存储格式HDFS中常见的文件压缩方式。
Hadoop与Hdfs的压缩格式
CSDN_bird的博客
10-24 218
https://www.jianshu.com/p/b50bc3f8819c
HDFS配置的缓存和压缩策略
互联网知识分享
07-23 821
接着通过压缩编解码器创建压缩输出流，将数据读取并压缩后写入输出流。在解压缩文件时，同样需要创建输入流和输出流，并根据压缩编解码器创建解压缩输入流。块压缩模式将按照文件块进行压缩，而记录压缩模式将按照每条记录进行压缩。的缓存策略主要有以下几个方面的参数配置：读取缓存、写入缓存、以及缓存提供者。的压缩策略主要有以下几个方面的参数配置：压缩算法、压缩模式、以及压缩块大小。配置缓存和压缩策略的原理和相关参数，并提供完整的代码注释案例。的压缩块大小可以通过以下参数进行配置，默认值为。的读取缓存使用的是内存映射文件（
flink写文件到hdfs，并指定gz压缩格式
05-27
要将文件写入HDFS并指定Gzip压缩格式，可以使用Flink提供的`org.apache.flink.core.fs.FileSystem`和`org.apache.flink.core.fs.Path`类来实现。具体步骤如下： 1. 创建一个`org.apache.flink.core.fs.FileSystem`对象，指定HDFS的URI和配置信息。 2. 创建一个`org.apache.flink.core.fs.Path`对象，指定写入HDFS的文件路径。 3. 调用`FileSystem.create()`方法创建一个输出流。 4. 将数据写入输出流，这里可以使用`org.apache.flink.api.common.io.FileOutputFormat`类来实现Gzip压缩。 5. 关闭输出流。 下面是一个示例程序，它将数据写入HDFS并使用Gzip压缩： ```java import org.apache.flink.api.common.io.FileOutputFormat; import org.apache.flink.core.fs.FileSystem; import org.apache.flink.core.fs.Path; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; public class WriteToHdfsExample { public static void main(String[] args) throws Exception { // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 准备要写入HDFS的数据 DataStream<String> data = ... // 写入HDFS String outputPath = "hdfs://hadoop-master:9000/path/to/output"; FileSystem hdfs = FileSystem.get(new URI(outputPath), new Configuration()); Path path = new Path(outputPath); FSDataOutputStream outputStream = hdfs.create(path); GzipCompressor gzipCompressor = new GzipCompressor(); FileOutputFormat<String> fileOutputFormat = new TextOutputFormat<>(path, gzipCompressor); fileOutputFormat.setOutputFilePath(path); fileOutputFormat.setWriteMode(FileSystem.WriteMode.OVERWRITE); fileOutputFormat.open(outputStream); data.writeUsingOutputFormat(fileOutputFormat); fileOutputFormat.close(); // 启动任务执行 env.execute("Write to HDFS Example"); } } ``` 在以上示例程序中，`hadoop-master:9000`是HDFS的URI，`/path/to/output`是要写入的文件路径。`TextOutputFormat`是Flink提供的一个文本输出格式，它支持Gzip压缩。在`FileOutputFormat`的构造函数中，将`TextOutputFormat`作为参数传入，即可实现Gzip压缩。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值