flink实战--StreamingFileSink使用大全

最新推荐文章于 2024-05-09 12:00:32 发布
最新推荐文章于 2024-05-09 12:00:32 发布
阅读量3.2k 收藏 3
点赞数
分类专栏： Flink学习必读系列 文章标签： hdfs 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/104769405
版权

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

                     StreamingFileSink用来将分区文件写入到支持 Flink FileSystem 接口的文件系统中，支持Exactly-Once语义。这种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic拆分、基于小时分析处理等场景下。本篇将会介绍StreamingFileSink的基本用法、如何压缩数据以及合并产生的小文件。

注意：官网已经说明：BucketingSink在flink1.9弃用，将在后续版本中被删除。请改用StreamingFileSink。

一、基本用法

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
大数据Flink（四十八）：扩展阅读 Streaming File Sink
Lansonli（蓝深李）的博客
05-17 3921
当作业重新启动时，所有子任务的下一个PartFile索引将是max PartFile索引+ 1，其中max是指在所有子任务中对所有计算的索引最大值。需要注意的是，使用Bulk Encoding时，Filnk1.9版本的文件滚动就只能使用OnCheckpointRollingPolicy的策略，该策略在每次checkpoint时滚动part-file。这两种写入格式除了文件格式的不同，另外一个很重要的区别就是回滚策略的不同：创建行或批量编码的 Sink 时，我们需要指定存储桶的基本路径和数据的编码。
【Flink】Flink Streaming File Sink
九师兄
02-02 1581
1.概述 类似文章：【Flink】Flink StreamingFileSink 转载：Flink Streaming File Sink 2.背景 Flink 支持将流数据以文件形式存储到外部系统，典型使用场景是将数据写入Hive表所在 HDFS存储路径，通过Hive 做查询分析。随着Flink文件写入被业务广泛使用，暴露出很多问题，因此需要了解 Flink Streaming File sink 的实现逻辑。 3.案例 从Kafka消费JSON数据，转换为 UserInfo 实体类数据流，最终以Par.
2024年Flink之FileSink将数据写入parquet文件_flink写parquet文件(2)，2024年最新大厂首发
最新发布
2401_84164672的博客
05-09 345
【代码】2024年Flink之FileSink将数据写入parquet文件_flink写parquet文件(2)，2024年最新大厂首发。
flink StreamingFileSink 读取kafka中的数据，流式地写入本地文件系统
热门推荐
不是一枚开发
05-20 4万+
1. StreamingFileSink   Flink 存在一些简单粗暴的输出到文件的预实现方法：如 writeAsText()、writeAsCsv() 直 接将输出结果保存到文本文件或 Csv 文件。但这种方式是不支持同时写入一份文件，Sink 操作并行度只能为 1，拖慢系统效率且无法保证故障恢复后的状态一致性   对此，Flink 专门提供了一个流式文件系统的连接器：StreamingFileSink，它继承自抽象类RichSinkFunction，而且集成了 Flink 的检查点（checkpoi
Flink Streaming File Sink使用 以及 关于并行度的解释
LBJ_小松鼠的博客
03-09 1406
StreamingFileSink是Flink1.7中推出的新特性，可以用来将分区文件写入到支持 Flink FileSystem 接口的文件系统中，支持Exactly-Once语义。 文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/connectors/streamfile_sink.html 1．初始化流计算运行环境 2．设置Checkpoint（10s）周期性启动 3．指定并行度为1 4．接入sock.
Flink 的 StreamingFileSink
a724952091的博客
09-15 667
转载自https://blog.csdn.net/u013516966/article/details/104726234/转载目的 只是为了 记录 防丢失 和 后续有补充 直接扩充 Flink目前对于外部Exactly-Once写支持提供了两种的sink，一个是Kafka-Sink，另一个是Hdfs-Sink，这两种sink实现的Exactly-Once都是基于Flink checkpoint提供的hook来实现的两阶段提交模式来保证的，主要应用在实时数仓、topic拆分、基于小时分析处理等场...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
Flink 实战 - 源码 java 源码demo
03-19
《Flink实战 - 源码》是一本深入解析Apache Flink实操技术的书籍，其配套的Java源码demo提供了丰富的示例，帮助读者更好地理解并应用Flink的各类功能。Flink作为一款强大的流处理和批处理框架，其核心在于对数据流的...
flink-streaming-java_2.11-1.13.2-API文档-中文版.zip
06-06
赠送jar包：flink-streaming-java_2.11-1.13.2.jar； 赠送原API文档：flink-streaming-java_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-streaming-java_2.11-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-...
flink-1.14.0-bin-scala_2.11.tgz
07-18
首先，我们来看看标题“flink-1.14.0-bin-scala_2.11.tgz”，这表明这是一个针对 Scala 2.11 的 Flink 1.14.0 安装包。Scala 是一种多范式编程语言，广泛用于构建分布式系统，特别是大数据处理框架。它与 Flink 的...
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
Flink入门：StreamingFileSink相关特性及代码实战
陆继森的技术专栏
04-27 4942
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 一、概述 Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链式处理，最后交给Sink输出流的过程。本篇文章主要讲解Sink端比较...
Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
cullinans的博客
01-30 7191
问题描述： 任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 解决过程： 开始是猜想可能是并行度过多，导致产生大量临时文件，文件句柄太多，关闭耗时导致文件一直无法完成合并？将并行度调整到1，发现问题并没有解决。 又猜想是因为调整了checkpoint参数，禁用掉che
【Flink】Flink StreamingFileSink
九师兄
04-17 438
文章目录1.概述2.基本用法3.相关特性4.part file生命周期5.文件编码格式5.1. Row-encoded sink:5.2.Bulk-encoded sink:6.桶分配7.滚动策略8.文件压缩9 part file相关配置项10.小文件处理10.1 减少并行度10.1 增大checkpoint周期或者文件滚动周期10.2 下游任务合并处理11.区别12.代码实战12.1 案例1 1.概述 我发现BucketingSink可以完成StreamingFileSink可以执行的所有操作，例如将事
Flink教程-flink 1.11 流式数据ORC格式写入file
Accelerating的博客
07-15 1229
原文链接：https://blog.csdn.net/zhangjun5965/article/details/107143992/ Flink教程-flink 1.11 流式数据ORC格式写入fileStreamingFileSink简介写入orc工厂类向量化操作构造OrcBulkWriterFactory实例讲解构造source构造OrcBulkWriterFactory构造StreamingFileSink 在flink中，StreamingFileSink是一个很重要的把流式数据写入文件系统的sin
Flink-1.10中的StreamingFileSink相关特性
微信搜：import_bigdata，大数据领域硬核原创作者
06-04 1214
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！Flink流式计算的核心概念，就是将数据从Source输入流一个个传递给Operator进行链...
Flink数据，写入HDFS - 使用 StreamingFileSink
weixin_43947279的博客
11-24 1万+
一、应用场景： Flink 消费 Kafka 数据进行实时处理，并将结果写入 HDFS。 二、Streaming File Sink 由于流数据本身是无界的，所以，流数据将数据写入到分桶（bucket）中。默认使用基于系统时间(yyyy-MM-dd–HH)的分桶策略。在分桶中，又根据滚动策略，将输出拆分为 part 文件。 1、Flink 提供了两个分桶策略，分桶策略实现了 org.apache.flink.streaming.api.functions.sink.filesystem.BucketAss
直播回顾 ｜ FlinkX HDFS Write vs StreamFileSink设计原理与使用
a958014226的博客
11-25 1290
哈喽！朋友们 11月23日晚19:00袋鼠云数栈的大数据引擎开发技术大咖-渡劫在钉钉群、微信视频号和B站同步直播 FlinkX技术分享 《FlinkX HDFS Write vs StreamFileSink设计原理与使用》有没有看呢？ 我们看过的小伙伴都表示学到了渡劫深入浅出的把日常遇到的困惑完美解答 错过的人儿想看的话 （方法贴在下面了）下面和数栈君一起回顾下本次的直播主要讲了些啥？ 敲黑板，划重点 一、Flinkx-FileSystem原理与使用 Flinkx-FileS..
Flink实战之StreamingFileSink如何写数据到其它HA的Hadoop集群
苏苏爱自由
12-03 4972
前言 我们公司使用的集群都是 EMR 集群，于是就分别创建了一个 flink 集群专门用户实时计算，一个 hadoop 集群专门用于 spark、hive 的离线计算。两个集群是完全隔离的。但是有一些实时数据的采集需求，需要把数据写入到我们做离线计算的集群，有人说我只需要在 StreamingFileSink 需要传入的hdfs 路径前加上离线集群的 ip 就好了，比如：hdfs://otherI...
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值