Flink DataStream API之Environment、Source和Sink

最新推荐文章于 2024-08-21 20:05:39 发布

Better~Me

最新推荐文章于 2024-08-21 20:05:39 发布

阅读量198

点赞数

分类专栏： Flink入门及实战文章标签： flink

本文链接：https://blog.csdn.net/MissWYAN/article/details/108937097

版权

Flink入门及实战专栏收录该内容

24 篇文章 6 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了Apache Flink DataStream API中的核心概念，包括如何使用`Environment`创建执行环境，详细讲解了`Source`的多种数据获取方式，如批处理、文件、Kafka，并展示了自定义`Source`的实现。此外，还探讨了`Sink`的使用，特别是如何将数据写入Elasticsearch，并给出了相关依赖引入和代码示例。

摘要由CSDN通过智能技术生成

在这里插入图片描述

Environment

getExecutionEnvironment

创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。

// 获取执行环境
val env: StreamExecutionEnvironment = StreamExecutionEnvironment
  .getExecutionEnvironment
// 设置流的时间为Event

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Better~Me

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

在Flink DataStream API中集成和使用Hudi

shangjg3的博客

03-15

286

首先创建一个Flink Hudi表，并使用DataStream API将数据插入Hudi表中，如下所示。添加相应版本的maven依赖。

Flink-Table StreamTableEnvironment实践编程（四）上

springk的专栏

01-17

5847

在上一篇文章中掌握了StreamTableEnvironment的基本概念，下面就进入代码实战环节：一、实例中采用socket连接方式，获取数据流信息，使用 nc -l 端口号方式，开启端口监控，用来数据数据信息，实例中使用9999作为端口，命令行中输入：nc -l 9999 二、本实例主要功能是完成根据学生姓名实现分数统计三、具体依赖实体类如下： @Data public ...

参与评论您还未登录，请先登录后发表或查看评论

Flink中Table表和DataStream流的互相转换

张俊杰的博客

07-11

2308

sensor.txt sensor_1,1547718199,35.8 sensor_6,1547718201,15.4 sensor_7,1547718202,6.7 sensor_10,1547718205,38.1 sensor_1,1547718207,37.2 sensor_1,1547718212,33.5 sensor_1,1547718215,38.1 转换代码 import org.apache.flink.streaming.api.scala._ import org.apache.

flink笔记12 [Table API和SQL] 创建表环境、创建表

weixin_43631997的博客

05-11

3702

1.创建表环境创建表环境，需要将flink流处理的执行环境传入 val tableEnv = StreamTableEnvironment.create(env) // 最简单的创建表环境 TableEnvironment是flink中集成Table API和SQL的核心概念，所有对于表的操作都基于TableEnvironment 其他创建方法： // 基于老版本planner的流处理 val settings = EnvironmentSettings....

Flink源码之StreamExecutionEnvironment

长城的博客

04-21

2485

ExecutionConfig 并行度 Parallelism 有默认值，等于cpu 数量 getter and setter方法最大并行度: 0 < maxParallelism <= 2^15 - 1 重启策略 RestartStrategies setRestartStrategy() getRestartStrategy() 链化优化 isChainingEnabled isChainingEnabled disableOperatorChaining 重试次数 numbe

Flink基础（十）：Flink常用的Source和Sink

weixin_42155491的博客

04-02

4631

通过前面我们可以知道 Flink Job 的大致结构就是 Source ——> Transformation ——> Sink 那么这个 Source 是什么意思呢？ Data Source 介绍 Data Source 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 中你可以使用 StreamExecutionEnvironment.addSource(sourceFun...

（九）基于 Flink DataStream API 应用案例

最新发布

springk的专栏

08-21

391

在 11.11 购物节大促活动中，天猫、京东等商家会对外发布购物节对应的交易金额、单量等信息，下面我们以 2023.11.11 购物节大促为背景，结合 DataStream API，完成技术方案设计，并输出实现代码。

Flink Hudi DataStream API代码示例

主要分享大数据相关的知识，如Spark、Hudi

05-22

1441

总结Flink通过DataStream API读写Hudi Demo示例，主要是自己备忘用。最开始学习Flink时都是使用Flink SQL,所以对于Flink SQL读写Hudi比较熟悉。但是对于写代码实现并不熟悉，而有些需求是基于Flink代码实现的，所以需要学习总结一下。仅为了实现用代码读写Hudi的需求，其实有两种方式，一种是在代码里通过Flink SQL API，也就是代码中执行Flink SQL，这种方式其实和通过SQL实现差不多，另一种方式是通过DataStream API实现。

Flink DataStream API编程入门

08-01

294

DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。

20200604——flink datastream开发

寄蜉蝣于天地，渺沧海之一粟。

06-04

254

flink流处理程序的一般流程 1）获取flink流处理执行环境 2）构建source 3）数据处理 4）构建sink 与批处理相比 1.运行环境不同，streamexecutionenvironment 2.有些算子不同 3.程序是一直运行的，除非我们手动停止输入数据集data source flink中你可以使用streamexecutionenvironment.addSource(source)来为程序添加数据来源 flink已经提供了若干实现好的source functions，当然你也可以通

精通flink读书笔记（2）——用DataStreamAPI处理数据

yyqq188的博客

03-12

8733

涉及的部分包括：一 Execution environment flink支持的环境创建方式有： get一个已经存在的flink环境方式为getExecutionEnvironment()create一个local环境 createLocalEnvironment()create一个romote环境 createRemoteEnvironment(Strin

Flink-Table StreamTableEnvironment基础知识（三）

springk的专栏

01-16

9224

StreamTableEnvironment用于流计算场景，流计算的对象是DataStream。相比 TableEnvironment，StreamTableEnvironment 提供了 DataStream 和 Table 之间相互转换的接口，如果用户的程序除了使用 Table API & SQL 编写外，还需要使用到 DataStream API，则需要使用 StreamTableE...

Flink源码拾遗＜二＞：StreamExecutionEnviornment

Li_DeSheng的博客

11-07

2430

StreamExecutionEnvironment是stream program执行的环境，其子类LocalStreamEnvironment会让程序在当前JJVM中执行，而子类RemoteStreamEnvironment会让程序在远程集群中执行。 ——Flink官方注释首先，我们来看一看一个典型的Flink中的wordcount程序是什么样的。 public class WordCount { public static void main(String[] args) thr..

Flink流处理API代码详解，含多种Source、Transform、Sink案例，Flink学习入门（二）

后来X大数据

06-16

1206

关于flink的入门在上一篇已经讲过了，写的不是一步一步那么详细，所以入门的小伙伴看着有些吃力，

flink1.9新特性：维表JOIN解读

世事洞明皆学问，人情练达即文章

09-04

8207

Flink 1.9 中维表功能来源于新加入的Blink中的功能，如果你要使用该功能，那就需要自己引入 Blink 的 Planner，而不是引用社区的 Planner。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_...

Flink开发五步之第四步：Sink

渐宽阁读书小弟

03-11

330

目录：一、用于测试的自定义SourceFunction 二、Sink To Kafka 一、用于测试的自定义SourceFunction package com.fouth_sink import org.apache.flink.streaming.api.functions.source.{RichSourceFunction, SourceFunction} import scala.ut...

09_Flink Streaming execute

codemosi的专栏，点击我可以跳到目录一栏

06-09

4918

通过env.execute();启动任务。env有四个实现类。LocalStreamEnvironment，是在本地jvm使用多线程模拟一个flink集群。四个实现类都是通过getStreamGraph来获取DAG图对象StreamGraph。 StreamGraph，保存着点边关系，和需要的上下文对象。可以重新api编程的语义。持有一个JobGraph对象，用来提交给集群。由Client，Jo

Flink流处理-DataStream常用Source及Sink

孙大圣的博客

11-26

3524

环境 flink-1.9.0 一、需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>1.9.0</versio...

用flink datastream 写一个程序，分析一个mysql表写入另一个MySQL表，每隔1min执行一次

05-25

import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.api.functions.timestamps.AscendingTimestampExtractor; import org.apache.flink.streaming.api....