flume hdfs sink gzip 压缩的问题

最新推荐文章于 2024-05-08 14:31:48 发布
最新推荐文章于 2024-05-08 14:31:48 发布
阅读量2.4k 收藏 1
点赞数
文章标签： hdfs flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bottle123/article/details/50562751
版权

flume 使用gzip压缩存储时，出现文件不完整，只写入了一部分数据，解压后的文件比未解压的还要小，是因为gzip压缩时，需要几个配置参数要一致，如下：

agent.sinks.hdfsSink1.hdfs.rollCount=10000
agent.sinks.hdfsSink1.hdfs.batchSize =10000

agent.channels.fileChannel.transactionCapacity =10000


猜测 这是因为gzip是不可分割的，所以不能多次写入，只能一次写入，所以这几个参数要一致



后来发现其实是本地库的问题，特来更新

bottle123
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
Flume配置双HA hdfsSink.docx
06-17
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
（转）Flume中的HDFS Sink配置参数说明及输出压缩配置
小蚯蚓的博客
03-15 1438
【转载原因：flume的sink压缩配置】 【转载原文：https://blog.csdn.net/helloxiaozhe/article/details/88417091】 关键字：flume、hdfs、sink、配置参数 滚动条件与输出hdfs的文件的压缩配置 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel t...
flume数据采集工具
m0_52106226的博客
01-10 387
业务系统就是客户端加上后台的服务 Source,channel,Event flime运行起来的进程叫agentflume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道每一个agent都有3个组件Source,channel,sink Source就相当于read(读数据) Channel就相当于缓存数据(为了解耦合) Sink就相当于write(写数据) Event event是数据 在channel中的封装形式 因此,Source组件在获取到原始数据后,需要封装成ev
GZIP 在 Flume Sink 中的应用
Han.启书的博客
01-14 800
Flume HDFS sink为什么能使用GZIP GZIP：Header & DataBlocks & Tailer GZIP 与 Deflater的关系 Java & commons-compressions中的GZIP Flume HDFS Sink中的逻辑 通常会出现的问题及“处理方法” Zlib 与 GZIP的关系 Hadoo
Flume HDFS Sink使用及源码分析
iteye_14970的博客
11-06 574
HDFS Sink介绍 Flume导入数据HDFS，目前只支持创建序列化（sequence）文件和文本（text）文件。还支持这两个文件的压缩。文件可以根据运行的时间，数据的大小和时间的数量来进行周期性的滚动（关闭当前文件产生新的文件）。也可以根据数据属性分区，例如根据时间戳或机器分区。HDFS目录路径可以包含格式化的转义字符，生成目录路径可以通过格式化转移字符（escape sequences...
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1547
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
flume to hdfs lzo 压缩支持
luoyoumou的专栏
07-31 2106
-- 参考： http://wzktravel.github.io/2015/12/11/flume-ng/          https://blog.csdn.net/sw562810770/article/details/79611318          https://www.quora.com/Whats-the-difference-between-the-LzoCodec-and-...
【大数据实验系列】解决日志收集框架Flume使用HDFS的Sink类型，且使用codeC=gzip压缩方式时，Flume日志信息一直卡在Got brand-new Compressor[.gz]的问题
弗兰-随风小欢的博客
04-01 408
解决日志收集框架Flume使用HDFS的Sink类型，且使用codeC=gzip压缩方式时，Flume日志信息一直卡在Got brand-new Compressor[.gz]的问题
Flume自定义Sink—实现按天或小时分割文件并压缩保存
禅鸣之时
06-20 2517
   编写不易，转载请注明：http://shihlei.iteye.com/blog/2306151       项目需要：     Flume收集日志，期望落地文件系统，按小时分割，并压缩保存。     Flume自带的File Roll Sink 只能按时间分割文件，不能定制存放目录，压缩文件等。所以自定义了Sink结合Log4j的RollingFileAppender的特性，完...
flume配置双HA hdfsSink源码修改实现
09-29
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
flume-ng-hdfs-sink-1.7.0.jar
09-15
flume-ng-hdfs-sink-1.7.0.jar，这个包里包含了flume和HDFS集成的所有类
flume sink直写mysql
03-09
flume 自定义sink组件 实现sink直接写入mysql数据库
Flume-HDFS-驱动-jar包
05-31
解决flume上传文件至HDFS报错问题。需要手动将hadoop相关jar包导入flume的lib目录下。
Flume系列之：查看flume生成的gz文件中的数据
zhengzaifeidelushang的博客
03-30 912
Flume系列之：查看flume生成的gz文件中的数据一、flume落到hdfs文件格式二、查看hdfs上生成的文件三、查看文件中的数据 一、flume落到hdfs文件格式 sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip 文件压缩格式，包括：gzip,bzip2, lzo, lzop, snappy 二、查看hdfs上生成的文件 /optics/raw/kafka/debezium-prod-optics_prod_1h/optics_prod/
Flume配置参数详解
qq_57151931的博客
03-15 1231
Flume配置参数详解
Flume之HDFS Sink 的参数解析及异常处理
weixin_40727028的博客
04-05 3198
一、配置详解 type Sink类型为hdfs hdfs.path HDFS存储路径，支持按照时间分区 集群的NameNode名字： 单节点：hdfs://主机名(ip):9000/%Y/%m/%d/%H HA集群：hdfs://nameservice(高可用NameNode服务名称)/%Y/%m/%d/%H hdfs.filePrefix 默认值：FlumeData Event输出到HDFS的文件名前缀 hdfs.fileSuffix Event输出到HDFS的文件名后缀 h
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2832
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
Flume进阶
最新发布
weixin_62399938的博客
05-08 493
***/// 增加代码开始// 增加代码结束// 增加代码开始// 增加代码结束@Override@Override@Overrideelsegroup++) {break;@Override= null) {// 增加代码开始// 增加代码结束@Override// 增加代码开始!
Flume入门
weixin_62399938的博客
05-07 257
1、一个agent包含哪些组件？ACD2、每个组件必须要配置以下哪些内容ABDA、名称B、类型C、拦截器D、属性集3、以下哪些是flume的特点：BA、可靠性B、可恢复性C、高可用性D、唯一性。
flume hdfs sink 配置
04-06
Flume HDFS Sink 配置是指在 Flume 中将数据传输到 HDFS 的配置。在 Flume 中，HDFS Sink 是一种 Sink 类型，它可以将数据写入 HDFS 文件系统中。配置 HDFS Sink 需要指定 HDFS 的相关参数，如 HDFS 的路径、文件...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值