Flink系列
文章平均质量分 84
共十几篇系列文章
不看白不看,看了不白看
维护公众号:蓝天Java大数据,关注公众号,获取最新系列文章
展开
-
Flink客户端操作
命令介绍 Flink 提供了丰富的客户端操作来提交任务和与任务进行交互,包括 Flink 命令行,Scala Shell,SQL Client,Restful API 和 Web。Flink 首先提供的最重要的是命令行,其次是 SQL Client 用于提交 SQL 任务的运行,还有就是 Scala Shell 提交 Table API 的任务。同时,Flink 也提供了Restful 服务,用户可以通过http 方式进行调用。此外,还有 Web 的方式可以提交任务。命令操作1、启动服...原创 2021-10-24 10:20:06 · 775 阅读 · 0 评论 -
Flink Kafka数据写入MySql
之前我们讲过kafka-flink-es的场景,本次我们讲解kafka->flink-mySql,即数据采集存储到kafka,通过flink消费kafka数据,实时计算,结果存储到mySql,这个场景项目接处也是非常多,因为数据很多时候要存储到数据库,下面介绍具体实现过程。环境搭建flink参考Flink环境搭建,令人惊愕的HA,mySql自行安装。代码实现1、pom.xml 引入下面的包<properties> <flink.version>1..原创 2021-10-08 21:46:21 · 2008 阅读 · 0 评论 -
Flink Kafka数据写入Elasticsearch
现在相当多场景设计为:kafka->flink-es,即数据采集存储到kafka,通过flink消费kafka数据,实时计算,结果存储到es,最后通过kibana展现,下面介绍具体实现过程。环境搭建 flink参考Flink环境搭建,令人惊愕的HA,kafka和elasticsearch的环境搭建参考参考之前写的文章,如下链接Elasticsearch7.X-Springboot整合ELK进行日志收集<1>。启动kafka、启动elasticsearch。...原创 2021-08-02 22:50:18 · 1185 阅读 · 0 评论 -
Flink SQL 案例Word Count
FlinkSQL简介Flink SQL 支持的语法 Flink SQL 核心算子的语义设计参考了 1992、2011 等 ANSI-SQL 标准,Flink 使用 Apache Calcite 解析 SQL ,Calcite 支持标准的 ANSI SQL。 Flink Table & SQL API是在DataStream和DataSet之上封装的一层高级API,看下图: 基于 Flink SQL 编写的 Flink 程序也离不开读取原始数据,计算逻辑和写入计...原创 2021-07-27 22:03:58 · 555 阅读 · 2 评论 -
Flink客户端操作
Flink 命令行 Flink环境搭建前面已经讲过,可回顾Flink环境搭建,令人惊愕的HA环境搭建。Flink 的命令行参数很多,输入 flink - h 能看到完整的说明:flink-1.7.2bin/flink -h 如果想看某一个命令的参数,比如 Run 命令,输入:flink-1.7.2bin/flink run -h1.启动命令在bin目录下执行./start-cluster.sh访问http://192.168.244.129:8...原创 2021-07-27 21:37:00 · 772 阅读 · 1 评论 -
Flink水位线之watermark原理及实战
watermark概念Flink 实际上是用 watermarks来实现 Event - Time 的功能。watermark在Flink中也属于特殊事件,其精髓在于当某个运算值收到 。带有时间戳“T”的watermarks时就意味着它不会接收到新的数据了。使用watermark的好处在于可以准确预估收到数据的截止时间。举例,假设预期收到数据时间与输出结果时间的时间差延迟 5分钟,那么Flink 中所有的windows Operator 搜索 3点至4点的数据,但因为存在延迟需要再多等5 分钟直至收原创 2021-07-22 20:12:55 · 1042 阅读 · 1 评论 -
Flink状态管理和容错
状态管理的基本概念flink状态是什么flink的状态,简单来说,就是有状态函数或者算子在处理数据时,保存在本地的一个变量,这个变量可以是自定义结构的数据,用于记录计算时产生的结果,或者其他的数据。有状态的操作在对每条数据进行处理时,会基于状态计算或更新状态信息,如下图:为什么要管理状态? 使用了状态,为什么要管理状态?因为实时作业需要7*24不间断的运行,需要应对不可靠的因素而带来的影响。flink状态的分类managed State & Raw State...原创 2021-07-11 19:42:34 · 332 阅读 · 2 评论 -
Flink的数据转换Transformation
datastream转换操作 single-datastream操作:定义对单个datastream数据集元素的处理逻辑map、flatmap、filter、keyby、reduce、aggregation。 multi-datastream操作:定义对多个datastream数据集元素的处理逻辑union、connect、comap、coflatmap、split、select、iterate。datastreammap() 调用用户定义的MapFunction对Data...原创 2021-07-08 22:47:04 · 790 阅读 · 2 评论 -
Flink-数据局流DataStream
扫码关注系列文章Flink主要用来处理数据流,所以从抽象上来看就是对数据流的处理,正如前面大数据开发-Flink-体系结构&& 运行架构提到写Flink程序实际上就是在写DataSource、Transformation、Sink。 DataSource是程序的数据源输入,可以通过StreamExecutionEnvironment.addSource(sourceFuntion)为程序 添加一个数据源 Transformation是具体的操作,它对一个或多...原创 2021-07-04 17:43:07 · 406 阅读 · 3 评论 -
Flink-剖析窗口周期
在讲窗口之前,我们回顾下Flink中的数据分类:有界数据流和无界数据流。 无界数据流:指的是一旦开始生成后就会持续不断的产生新的数据,即数据没有时间边界,这种类型的数据一般适用于做ETL 有界数据流:指的是输入的数据有始有终,一般这种类型的数据用于批处理,如统计过去一分钟的pv或者uv等类似聚合类操作。 Flink又是实时流技术,那么如何支持有界数据流的聚合操作呢?这个时候就有了窗口的概念。 窗口的作用就是为了周期性的获取数据,即把传入的无界数据流在逻辑上划分...原创 2021-06-13 16:10:28 · 294 阅读 · 1 评论 -
Flink的数据类型
Apache Flink 以其独特的方式来处理数据类型以及序列化,这种方式包括它自身的类型描述符、泛型类型提取以及类型序列化框架。本文档描述了它们背后的概念和基本原理。支持的数据类型 Flink 对可以在 DataSet 或 DataStream 中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。 Java Tuple 和 Scala Case类; Java POJO; 基本类型; 通用类; 值; ...原创 2021-06-07 21:02:33 · 814 阅读 · 4 评论 -
Flink经典案例HelloWorld
Flink是由Scala进行开发的,而Scala是基于JVM的一种语言。所以最终也会转换为JAVA字节码文件,所以Flink程序可以由Java、Scala两种语言都可以进行开发。也可以同时开发。比如Java写一部分代码,Scala写另一部分代码。可以参考<Apache Flink利用Maven对Scala与Java进行混编>。首先运用maven的flink1.13.0项目骨架生成项目mvn archetype:generate -DarchetypeGroupId=or...原创 2021-05-30 10:26:05 · 1710 阅读 · 0 评论 -
Flink环境搭建,令人惊愕的HA
扫码关注系列文章 Flink的HA,不仅依赖zookeeper而且还依赖分布式文件系统如:HDFS、OSS、S3、MapR FS等,一个高可用集群居然依赖两个外部服务,kafka已经去除了zookeeper,相信不久的将来Flink也会做出改变。环境搭建(单节点) Flink 环境搭建分为docker方式及实体机方式,我们下面分别以docker方式及实体机方式进行安装。docker-compose.yml方式(1)配置yml文件version: "2.1"...原创 2021-05-24 22:01:43 · 724 阅读 · 0 评论 -
Flink系列-起源及生态组件
来源:Flink系列-起源及生态组件扫码关注系列文章Flink简介 Apache Flink是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够不上在各种集群环境,对各种规模大小的数据进行快速计算。Flink 是一个分布式的流处理框架,它能够对有界和无界的数据流进行高效的处理。Flink 的核心是流处理,当然它也能支持批处理,Flink 将批处理看成是流处理的一种特殊情况,即数据流是有明确界限的。 与spark对比,flin...原创 2021-05-16 19:36:18 · 328 阅读 · 0 评论