![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink 1.14 实战
文章平均质量分 60
吕布辕门
逆水行舟,不进则退!
展开
-
flink 教程 Window
WindowKeyedStream → WindowedStream可以在已分区的 KeyedStreams 上定义 Windows。Windows 根据某些特征(例如,最近 5 秒内到达的数据)对每个键中的数据进行分组。import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming原创 2022-05-09 07:30:00 · 808 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 DataStream jdbc
mysql source从 MySQL 中读取数据的 Source。首先 pom.xml 中添加 MySQL 依赖:<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.19</version></dependency>数据库表DROP TABLE IF原创 2022-04-19 10:10:55 · 199 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 DataStream jdbc sink
JDBC Connectorjdbc sink该连接器可以向 JDBC 数据库写入数据。添加下面的依赖以便使用该连接器(同时添加 JDBC 驱动):<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.11</artifactId> <version>1.14.4</version>原创 2022-04-19 10:09:32 · 495 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 DataStream kafka Sink
DataStream 连接器要在应用程序中使用这些连接器之一,通常需要额外的第三方组件,例如用于数据存储或消息队列的服务器。另请注意,虽然本节中列出的流连接器是 Flink 项目的一部分并且包含在源代码版本中,但它们不包含在二进制发行版中。kafka 连接器该文档描述的是基于新数据源 API的 Kafka Source。依赖Apache Flink 集成了通用的 Kafka 连接器,它会尽力与 Kafka client 的最新版本保持同步。该连接器使用的 Kafka client 版本可能会在 F原创 2022-04-18 10:32:03 · 888 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 DataStream kafka Source
DataStream 连接器要在应用程序中使用这些连接器之一,通常需要额外的第三方组件,例如用于数据存储或消息队列的服务器。另请注意,虽然本节中列出的流连接器是 Flink 项目的一部分并且包含在源代码版本中,但它们不包含在二进制发行版中。kafka 连接器该文档描述的是基于新数据源 API的 Kafka Source。依赖Apache Flink 集成了通用的 Kafka 连接器,它会尽力与 Kafka client 的最新版本保持同步。该连接器使用的 Kafka client 版本可能会在 F原创 2022-04-18 10:30:31 · 656 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 DataStream API算子汇总
目录Flink DataStream API概述MapFlatMapFilterKeyByReduceWindowWindowAllWindowReduceIterativeStreamProcessFunctionFlink DataStream API概述用户通过算子能将一个或多个 DataStream 转换成新的 DataStream,在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。这部分内容将描述 Flink DataStream API 中基本的数据转换API,数据转换后各种原创 2022-04-15 16:35:55 · 2755 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 Kafka SQL 连接器
Apache Kafka SQL 连接器Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。依赖https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-kafka_2.11/1.14.4/flink-sql-connector-kafka_2.11-1.14.4.jar如何创建 Kafka 表以下示例展示了如何创建 Kafka 表:CREATE TABLE KafkaTable (原创 2022-04-17 07:30:00 · 965 阅读 · 0 评论 -
【Flink1.14实战】Docker环境 Print SQL 连接器
Print SQL 连接器Print 连接器允许将每一行写入标准输出流或者标准错误流。设计目的:简单的流作业测试。对生产调试带来极大便利。如何创建一张基于 Print 的表CREATE TABLE print_table ( f0 INT, f1 INT, f2 STRING, f3 DOUBLE) WITH ( 'connector' = 'print')或者,也可以通过 LIKE子句基于已有表的结构去创建新表。CREATE TABLE print_table WITH原创 2022-04-16 08:15:00 · 593 阅读 · 0 评论 -
【Flink1.14实战】Docker环境Flink Sql mysql连接器
JDBC SQL 连接器JDBC 连接器允许使用 JDBC 驱动向任意类型的关系型数据库读取或者写入数据。本文档描述了针对关系型数据库如何通过建立 JDBC 连接器来执行 SQL 查询。如果在 DDL 中定义了主键,JDBC sink 将以 upsert 模式与外部系统交换 UPDATE/DELETE 消息;否则,它将以 append 模式与外部系统交换消息且不支持消费 UPDATE/DELETE 消息。依赖wget https://repo.maven.apache.org/maven2/org/原创 2022-04-14 10:26:02 · 1706 阅读 · 2 评论 -
【Flink1.14实战】Docker环境Flink Sql DataGen 快速开始
DataGen SQL 连接器DataGen 连接器允许按数据生成规则进行读取。DataGen 连接器可以使用计算列语法。 这使您可以灵活地生成记录。DataGen 连接器是内置的。注意 不支持复杂类型: Array,Map,Row。 请用计算列构造这些类型。创建一个 DataGen 的表表的有界性:当表中字段的数据全部生成完成后,source 就结束了。 因此,表的有界性取决于字段的有界性。每个列,都有两种生成数据的方法:随机生成器是默认的生成器,您可以指定随机生成的最大和最小值。cha原创 2022-04-13 19:11:50 · 2617 阅读 · 0 评论 -
【Flink1.14实战】Flink DataStream 算子Reduce&Window
具体内容已在专栏展示:https://blog.csdn.net/qq_15604349/category_11734572.html源码地址:https://github.com/lvjianyang/flinkhttps://gitee.com/jian_yang_lv/flinkReduce**KeyedStream→ DataStream **一个分组数据流的聚合操作,合并当前的元素和上次聚合的结果,产生一个新的值,返回的流中包含每一次聚合的结果,而不是只返回最后一次聚合的原创 2022-04-11 11:37:58 · 1861 阅读 · 0 评论 -
【Flink1.14实战】Flink DataStream 算子快速开始 KeyBy
KeyBy**DataStream → KeyedStream **逻辑地将一个流拆分成不相交的分区,每个分区包含具有相同key的元素,在内部以hash的形式实现的。根据Key,累计统计package quick;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.a原创 2022-04-10 08:15:00 · 1330 阅读 · 0 评论 -
【Flink1.14实战】Flink DataStream 算子快速开始 Filter
FilterDataStream → DataStream过滤流。过滤掉零值的过滤器package quick;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironm原创 2022-04-09 09:15:00 · 1194 阅读 · 0 评论 -
【Flink1.14实战】Flink DataStream 算子 FlatMap
FlatMapDataStream → DataStream接受一个元素并产生零个、一个或多个元素。将句子拆分为单词的 flatmap 函数:package quick;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.envir原创 2022-04-08 17:24:28 · 1424 阅读 · 0 评论 -
【Flink1.14实战】Flink DataStream 算子 Map
MapDataStream → DataStream接受一个元素并产生一个元素。将输入流的值加倍的映射函数:package quick;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecuti原创 2022-04-08 17:21:43 · 594 阅读 · 0 评论 -
【大数据实战】Docker中Flink集群搭建
Docker 中部署使用 Docker 容器完成 Flink 集群的本地设置(在一台机器上,但在单独的容器中)。在 Docker 上启动会话集群一个Flink Session 集群可用于运行多个作业。每个作业都需要在集群部署完成后提交到集群。要使用 Docker 部署Flink Session 集群,您需要启动一个 JobManager 容器。为了启用容器之间的通信,我们首先设置一个必需的 Flink 配置属性并创建一个网络:$ FLINK_PROPERTIES="jobmanager.rpc.ad原创 2022-04-02 20:01:22 · 5337 阅读 · 1 评论 -
【大数据实战】Flink DataStream API 概述
目录概述什么是数据流?Flink 程序剖析示例程序Data Sources数据流转换Data SinksIterations执行参数容错控制延迟调试本地执行环境集合数据源迭代器 Data Sink概述Flink 中的 DataStream 程序是对数据流(例如过滤、更新状态、定义窗口、聚合)进行转换的常规程序。数据流的起始是从各种源(例如消息队列、套接字流、文件)创建的。结果通过 sink 返回,例如可以将数据写入文件或标准输出(例如命令行终端)。Flink 程序可以在各种上下文中运行,可以独立运行,也原创 2022-04-03 07:00:00 · 435 阅读 · 0 评论 -
【Flink 1.14 实战】Flink DataStream wordcount 快速开始
目录快速开始Maven 快速入门流处理wordcount流处理wordcount2批处理快速开始Maven 快速入门创建项目唯一的要求是安装Maven 3.0.4(或更高版本)和Java 8.x。使用以下命令之一创建项目:$ mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.14.4构建项目如果原创 2022-04-04 17:24:26 · 1551 阅读 · 0 评论