flink实战--StreamingFileSink使用大全

最新推荐文章于 2024-12-05 11:43:38 发布
最新推荐文章于 2024-12-05 11:43:38 发布
阅读量3.2k 收藏 3
点赞数
分类专栏： Flink学习必读系列 文章标签： hdfs 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/104769405
版权
本文介绍了Flink的StreamingFileSink的使用，包括基本用法、文件压缩和小文件处理。重点讲解了part file的生命周期，并提出减少并行度、增大checkpoint周期以及下游任务合并处理等解决小文件问题的方法。Flink 1.12新增了小文件合并功能以应对频繁checkpoint导致的大量小文件问题。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

                     StreamingFileSink用来将分区文件写入到支持 Flink FileSystem 接口的文件系统中，支持Exactly-Once语义。这种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic拆分、基于小时分析处理等场景下。本篇将会介绍StreamingFileSink的基本用法、如何压缩数据以及合并产生的小文件。

注意：官网已经说明：BucketingSink在flink1.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】Flink Streaming File Sink
九师兄
02-02 1679
1.概述 类似文章：【Flink】Flink StreamingFileSink 转载：Flink Streaming File Sink 2.背景 Flink 支持将流数据以文件形式存储到外部系统，典型使用场景是将数据写入Hive表所在 HDFS存储路径，通过Hive 做查询分析。随着Flink文件写入被业务广泛使用，暴露出很多问题，因此需要了解 Flink Streaming File sink 的实现逻辑。 3.案例 从Kafka消费JSON数据，转换为 UserInfo 实体类数据流，最终以Par.
大数据Flink（四十八）：扩展阅读 Streaming File Sink
Lansonli（蓝深李）的博客
05-17 4046
当作业重新启动时，所有子任务的下一个PartFile索引将是max PartFile索引+ 1，其中max是指在所有子任务中对所有计算的索引最大值。需要注意的是，使用Bulk Encoding时，Filnk1.9版本的文件滚动就只能使用OnCheckpointRollingPolicy的策略，该策略在每次checkpoint时滚动part-file。这两种写入格式除了文件格式的不同，另外一个很重要的区别就是回滚策略的不同：创建行或批量编码的 Sink 时，我们需要指定存储桶的基本路径和数据的编码。
Flink 的 StreamingFileSink
a724952091的博客
09-15 735
转载自https://blog.csdn.net/u013516966/article/details/104726234/转载目的 只是为了 记录 防丢失 和 后续有补充 直接扩充 Flink目前对于外部Exactly-Once写支持提供了两种的sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic拆分、基于小时分析处理等场...
flink-streaming-platform-web 项目常见问题解决方案
最新发布
gitblog_00238的博客
12-05 962
flink-streaming-platform-web 项目常见问题解决方案 flink-streaming-platform-web 基于flink的实时流计算web平台 项目地址: https://gitcode.com/g...
【Flink】Flink StreamingFileSink
九师兄
04-17 480
文章目录1.概述2.基本用法3.相关特性4.part file生命周期5.文件编码格式5.1. Row-encoded sink:5.2.Bulk-encoded sink:6.桶分配7.滚动策略8.文件压缩9 part file相关配置项10.小文件处理10.1 减少并行度10.1 增大checkpoint周期或者文件滚动周期10.2 下游任务合并处理11.区别12.代码实战12.1 案例1 1.概述 我发现BucketingSink可以完成StreamingFileSink可以执行的所有操作，例如将事
Flink入门：StreamingFileSink相关特性及代码实战
陆继森的技术专栏
04-27 5145
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 一、概述 Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过程。本篇文章主要讲解Sink端比较...
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
阿华田的博客
09-22 1559
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 Streaming Sink简介 Streaming Sink支持流的写操作，基于Flink的流文件接收器将数据写入文件。行编码格式是csv和json。批量编码的格式有parquet, orc和avro。极大的方便了我直接编写SQL，将流数据插入到非分区表中。如果是分区表，则可以配置分区相关的操作，本篇文章将详细介绍Streaming Sink相关的概念和使用方式。 滚动策略 ...
【Flink实战系列】Flink使用StreamingFileSink写入HDFS（parquet格式snappy压缩）
JasonLee实时计算
06-13 5688
这篇文章主要介绍一下Flink使用StreamingFileSink写入HDFS怎么用snappy压缩，之前的文章介绍过了写入parquet格式的数据，当时也有星球里面的朋友问这种写法怎么压缩，我只是简单的回复了说可以用AvroParquetWriter,今天就来详细介绍一下具体怎么实现 我们首先来看一下AvroParquetWriter的源码 /** Create a new {@link AvroParquetWriter}. * * @param file a file path * @p
Flink实战（109）：connector（十八）hdfs 读写（三）StreamingFileSink相关特性及代码实战
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 549
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 一、概述 Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过程。本篇文章主要讲解Sink端比较强大一个功能类StreamingFileSink,我们基于最新的Flink1.10.0版本进行讲解，之前版本可能使用BucketingSink,但是BucketingSink从Flink 1.9开始已经被废弃，并...
从0到1Flink的成长之路(二十)-扩展：Streaming File Sink
熊老二的博客
06-20 578
扩展：Streaming File Sink streamFile 1 场景描述 StreamingFileSink是Flink1.7中推出的新特性，是为了解决如下的问题： 大数据业务场景中，经常有一种场景： 外部数据发送到kafka中，Flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，如写入hdfs中。 StreamingFileSink就可以用来将分区文件写入到支持 Flink FileSystem 接口的文件系统中，支持Exactly-O
flink StreamingFileSink 读取kafka中的数据，流式地写入本地文件系统
热门推荐
不是一枚开发
05-20 5万+
1. StreamingFileSink   Flink 存在一些简单粗暴的输出到文件的预实现方法：如 writeAsText()、writeAsCsv() 直 接将输出结果保存到文本文件或 Csv 文件。但这种方式是不支持同时写入一份文件，Sink 操作并行度只能为 1，拖慢系统效率且无法保证故障恢复后的状态一致性   对此，Flink 专门提供了一个流式文件系统的连接器：StreamingFileSink，它继承自抽象类RichSinkFunction，而且集成了 Flink 的检查点（checkpoi
Sink-StreamingFileSink的使用
weixin_39868387的博客
07-03 479
上篇：Sink-redisSink的使用 说明：StreamingFileSink代替WriterSink WriterSink：在flink1.2的Sink已经过时了 【源码@Deprecated：标记为过时了】 准备工作： pom文件引入快照、hadoop依赖 <!-- 快照版本--> <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-filesystem --> .
Flink-1.10中的StreamingFileSink相关特性
微信搜：import_bigdata，大数据领域硬核原创作者
06-04 1264
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链...
Flink实战之StreamingFileSink如何写数据到其它HA的Hadoop集群
苏苏爱自由
12-03 5146
前言 我们公司使用的集群都是 EMR 集群，于是就分别创建了一个 flink 集群专门用户实时计算，一个 hadoop 集群专门用于 spark、hive 的离线计算。两个集群是完全隔离的。但是有一些实时数据的采集需求，需要把数据写入到我们做离线计算的集群，有人说我只需要在 StreamingFileSink 需要传入的hdfs 路径前加上离线集群的 ip 就好了，比如：hdfs://otherI...
Flink StreamingFileSink源码解析
lvwenyuan_1的博客
10-17 1786
序 目前来说Flink流式写入文件系统，有两个方式BucketingSink以及StreamingFileSink。StreamingFileSink是在BucketingSink之后推出的。主要区别在StreamingFileSink可以用于故障恢复，保证exactly-once，但是要求hadoop版本必须在2.7以上，因为用到了hdfs的truncate方法。BucketingSink相对...
Flink 第8.8章 Flink FlinkSink 流式数据落盘 FileSink
青冬的博客
06-14 4204
Flink版本： 1.15.0在 Flink 中，FileSink，大多数场景都是 kafkaSource & kafkaSink，但不乏需要将数据写一部分到离线中的场景。对此， Flink 提供了 StreamingFileSink 来处理 Steaming 写出到 FileSystem 接口的文件系统中，并且支持 Exactly-Once 语义。基于 check point 来实现。并且很好兼容 Hive 等分区场景。今天主要讲讲 FileSink 的使用方法及实现。比如一个实时流数据落盘到本地磁盘中.
Flink Streaming File Sink使用 以及 关于并行度的解释
LBJ_小松鼠的博客
03-09 1495
StreamingFileSink是Flink1.7中推出的新特性，可以用来将分区文件写入到支持 Flink FileSystem 接口的文件系统中，支持Exactly-Once语义。 文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/connectors/streamfile_sink.html 1．初始化流计算运行环境 2．设置Checkpoint（10s）周期性启动 3．指定并行度为1 4．接入sock.
Flink流处理API——Sink
静远小和尚的博客
08-11 852
原文链接：https://www.toutiao.com/i6859235904779715076/ 本文主要从以下几个方面介绍Flink的流处理API——Sink 一、输出到Kafka 二、输出到Redis 三、输出到MySQL 数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。 这三部分在Flink中分别被称为Source、Transform和Sink 其中Source部分可以参考这篇：Flink流处理API——Source Flink 没有类似于 s
StreamingFileSink压缩与合并小文件
赶路人儿
07-31 1686
Flink目前对于外部Exactly-Once写支持提供了两种的sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic拆分、基于小时分析处理等场景下。本篇将会介绍StreamingFileSink的基本用法、如何压缩数据以及合并产生的小文件。 一、基本用法 StreamingFileSink提供了基于行、列两种文件写入格式，用法：
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值