Flink系列-7、Flink DataSet—Sink&广播变量&分布式缓存&累加器

最新推荐文章于 2024-12-10 21:25:30 发布
最新推荐文章于 2024-12-10 21:25:30 发布
阅读量604 收藏 1
点赞数
分类专栏： 大数据专栏 文章标签： 分布式 flink 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l848168/article/details/130145775
版权
本文介绍了ApacheFlink中的数据输出方式，包括基于本地集合和文件的DataSinks，以及如何使用广播变量和累加器进行优化。广播变量用于减少shuffle操作，提高性能，而Accumulators用于监控任务运行期间的数据变化。此外，还讲解了Flink的分布式缓存，用于共享静态数据。
摘要由CSDN通过智能技术生成

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

大数据系列文章目录

官方网址：https://flink.apache.org/

学习资料：https://flink-learning.org.cn/
在这里插入图片描述

目录

数据输出Data Sinks

flink在批处理中常见的sink

  • 基于本地集合的sink（Collection-based-sink）
  • 基于文件的sink（File-based-sink）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink】Flink Distributed Cache 分布式缓存
九师兄
07-03 1056
Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件。此功能可用于共享文件，包含静态的外部数据，例如字典或者machine-learned回归模型。此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有worker节点的本地文件系统。
7-Flink的分布式缓存
微信搜：import_bigdata，大数据领域硬核原创作者
02-27 754
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有task...
(三)flink的DataSet:分布式缓存
张不帅
01-04 509
Flink提供了类似于Apache Hadoop的分布式缓存，可以让并行用户函数实例本地化的访问文件。此功能可用 于共享包含静态外部数据(如字典或机器学习的回归模型)的文件 工作方式如下：程序将本地或远程文件系统(如HDFS或S3)的文件或目录作为缓存文件注册到 ExecutionEnvironment中的特定名称下。当程序执行时，Flink自动将文件或目录复制到所有worker的本地文 件系统。...
Flink WebUI解析（待更新）
最新发布
java15655057970的博客
12-10 1120
2024-05-23：对于flink webUI的查看，首先还是根据先整体观看一下Task的划分，然后根据Exception去寻找对应的TaskManager相关信息，然后双向确定是什么原因造成的；作为metrics，虽然看起来花里胡哨，本质上对flink底层实现机制的基本逻辑弄懂，应该还是比较容易看的；注：由大佬有这块比较好的分享，跪求评论区共享一下；
Flink（20）：Flink之分布式缓存
yang_shibiao的博客
07-11 2139
0. 相关文章链接 1. Flink中分布式缓存概述 Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。 这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。 广播变量是将变量分发到各个TaskManager节点的内存上，分布式缓存是将文件缓存到各个TaskManager节点上。 2. 编码步骤 注册一个分布式缓存文件：env.registerCachedFile("hdfs:///path/file", "cachefilename")
【09】Flink 之 DataSet API（三）：DataSet Sink 操作
努力学习的大小宝
06-01 2056
1、DataSet Sink 数据输出 在Data Source部分和其他部分使用过写文件和打印操作，代码相同，只对理论进行介绍 1.1、分类 writeAsText()：将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取 writeAsCsv()：将元组以逗号分隔写入文件中，行及字段之间的分隔是可配置的。每个字段的值来自对象的toString()方法 p...
flink实战--flink原理解析
热门推荐
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 - 1
MiaoSO的博客
08-24 4174
Flink - 尚硅谷- 大数据高级 Flink 技术精讲 Flink - 尚硅谷- 大数据高级 Flink 技术精讲 一、Flink 简介 二、Quick Start 2.1 环境 2.1 Flink 安装包 2.2 nc 2.3 pom 配置 2.2 批处理 2.3 流处理 三、Flink 部署 3.1 Standalone 模式 3.2 Yarn 模式 3.2.1 Flink on Yarn 3.2.2 Session Cluster 3.2.3 Per Job Cluster
Flink - Java篇
.
02-28 1万+
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4 集群模式2 常用API2.1 DataStream 流处理DataSourceTransformationSink示例一：自定义数据源（SourceFunction）示例二：自定义分区示例三：Socket通信示例
flink入门到精通视频教程
07-15
4.Flink 广播变量，分布式缓存，累加器 5.Flink Datastream开发 6.Flink Window操作 7.Flink watermark与侧道输出 8.Flink状态计算 9.Flink容错checkpoint与一致性语义 10.Flink进阶 异步IO，背压，内存管理 11....
【11】Flink 之 DataSet API（五）：Distributed Cache(分布式缓存)
努力学习的大小宝
06-03 888
1、Distributed Cache(分布式缓存) Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本...
flink分布式缓存
hyy_blog
05-02 588
1 分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有tas...
flink -- 分布式缓存
qq_40337206的博客
07-17 407
现在有两种相关的数据，A：机器位置数据，B：机器状态巡检数据 机器位置数据A（：数据量小） ip 位置 192.168.100.1 机柜1编号1机器 192.168.100.2 机柜1编号2机器 192.168.100.3 机柜1编号3机器 192.168.100.4 机柜1编号4机器 192.168.100.5 机柜1编号5机器 192.168.100.6 ...
Flink分布式缓存
架构师老狼
07-09 365
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统，仅会执行一次。用户可以通过这个指定的名称查找文件或者目录，然后从taskma
Flink的分布式缓存
打酱油的葫芦娃
09-16 5114
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有task...
【Flink】Flink分布式缓存
一杯咖啡半杯糖的博客
02-10 1458
适用于批处理, 适用于把使用频率比较高的文件放到本地task内存中， 注意：需要我们缓存的文件在任务运行期间最好是只读状态，否则会造成数据的一致性问题。另外，缓存的文件和数据不宜过大，否则会影响 Task 的执行速度，在极端情况下会造成 OOM。 下面来看下如何进行应用 首先在项目中创建一个本地文件distributedcache.txt，里面添加数据，文件也可放在hdfs上执行 aaa bbb ccc 接下来进行实际的使用 package com.test; import org.
Flink Distributed Cache 分布式缓存
大数据技术博客
03-31 4857
Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件。此功能可用于共享文件，包含静态的外部数据，例如字典或者machine-learned回归模型。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目...
Flink 分布式缓存原理及使用
大数据星球-浪尖
11-17 1119
背景在1.9.1版本中分布式缓存并未拷贝HDFS下的文件到TM，运行时抛出如下异常。升级到1.10.1版本，能正常使用。借此，学习下Flink 分布式缓存相关知识。定义官网对 distri...
Flink入门及实战（13）- Flink 分布式缓存
一角残叶的博客
08-24 418
1 Flink Distributed Cache
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术武器库

一句真诚的谢谢，胜过千言万语

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值