Flink
关于我转生变成程序猿这档事
这个作者很懒,什么都没留下…
展开
-
【Flink】flink的stateful应该如何理解?
文章目录State | 状态概述算子状态(operator state)概述键控状态(keyed state)概述代码案例State | 状态概述 相信有浏览过Flink官网的朋友一定发现了,一进入官网的顶端,就有加粗的标题: Apache Flink® — Stateful Computations over Data Streams. Flink可以在流式数据上进行有状态计算。那么,有状态(Stateful)是什么意思? 官网也给出了解释,主要解释了一下什么是有状态函数(Stateful原创 2020-05-13 00:18:18 · 1580 阅读 · 0 评论 -
【Flink】异步IO知多少?官方文档永远是最好的教科书
文章目录Asynchronous I/O for External Data Access | 用于外部数据访问的异步I/OThe need for Asynchronous I/O Operations | 异步IO操作的需要Prerequisites | 使用异步IO的前提条件Async I/O APIAsynchronous I/O for External Data Access | 用于外部数据访问的异步I/O老规矩,上来先上官方文档:https://ci.apache.org/projec原创 2020-05-12 00:27:29 · 452 阅读 · 0 评论 -
【Flink】如何处理数据延迟
文章目录迟到数据概述实例迟到数据概述官网给出的定义:Late elements are elements that arrive after the system’s event time clock (as signaled by the watermarks) has already passed the time of the late element’s timestamp. (迟到数据是指系统的事件时间时钟(由水印指示)在经过延迟元素时间戳之后的时间到达的元素。)以下观点均是看完罗西的原创 2020-05-11 22:59:56 · 2218 阅读 · 0 评论 -
【Flink】watermark的基本原理和简单案例
文章目录好文分享watermark简单介绍概述简单案例watermark && 滚动窗口watermark && 滑动窗口好文分享关于watermark的解读,有两篇文章对我来说都比较有用:一、《Flink Event Time Processing and Watermarks》二、《[白话解析] Flink的Watermark机制》当然,官方文档永远都属于最有用的那一档:https://ci.apache.org/projects/flink/flink-d原创 2020-05-11 10:51:09 · 640 阅读 · 0 评论 -
【Flink】关于Time和Window的基本知识点
文章目录引言Time概述WindowTimeWindow滚动窗口 | Tumbling Windows滑动窗口 | Sliding Windows会话窗口 | Session WindowsCountWindow实例CountWindow && TimeWindowWindowReduceWindowApply引言Flink有四大基石:CheckpointStateTimeWindow这篇文章主要说一下Time和Window Time概述Event Time —原创 2020-05-10 21:32:47 · 613 阅读 · 0 评论 -
【Flink】整合Flink和Mysql数据库,将Mysql数据库作为source和sink
文章目录Mysql作为Flink的source创建maven工程,导包开发代码Mysql作为Flink的sink开发代码Mysql作为Flink的source创建maven工程,导包<properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target>原创 2020-05-09 10:46:18 · 1759 阅读 · 0 评论 -
【Flink】如何整合flink和kafka,将kafka作为flink的source和sink
文章目录概述source分类关于addSource案例步骤创建maven工程,导包开发代码代码中涉及到的知识点反序列化Schema类型概述分类设置Kafka Consumers从哪开始消费Flink关于Kafka的动态分区检测概述source分类flink的source有四种分类:基于集合 —— 有界数据集,一般都是本地测试用基于文件 —— 适合监听文件修改并读取其内容,一般也是测试用,实际工作环境很少用基于Socket —— 坚挺住几的host port,从Socket中获取数据自定义a原创 2020-05-08 22:15:46 · 1218 阅读 · 0 评论 -
【Flink】从单词计数案例弄明白DataStream API
步骤1.获取Flink流处理运行环境2.构建一个socket源3.连接9999端口发送实时数据4.使用flink操作进行单词统计5.输出结果 代码开发import org.apache.flink.api.java.tuple.Tupleimport org.apache.flink.streaming.api.scala.{DataStream, StreamEx...原创 2020-05-08 15:32:56 · 396 阅读 · 0 评论 -
【Flink】通过简单的案例了解flink中的广播变量
需求现在有一个 “学生表”、一个 “成绩表”,要将学生表发布到广播。学生表如下:|学生 ID | 姓名 ||------ |------| List((1, "张三"), (2, "李四"), (3, "王五"))成绩表如下:|学生 ID | 学科 | 成绩 | |------|------|-----| List( (1, "语文", 50),(2, "数学", 70), (...原创 2020-05-08 00:05:41 · 508 阅读 · 0 评论 -
【Flink】常用transformation算子和简单实例
文章目录批处理Transformation算子概述Transformation算子表实例与Spark使用基本相同的mapflatMapmapPartition批处理Transformation算子概述老规矩,官方文档永远是最好的使用教程,先献上官网关于DataSet Transformation的链接:https://ci.apache.org/projects/flink/flink-d...原创 2020-05-06 22:21:27 · 318 阅读 · 0 评论 -
【Flink】flink的数据源有哪些
文章目录基于本地集合的source | Collection-based-source代码实现基于文件的source | File-based-source开发代码基于本地集合的source | Collection-based-source最常见的三种:fromElements()fromCollection()generateSequence()代码实现import jav...原创 2020-05-05 20:49:57 · 1315 阅读 · 0 评论 -
【Flink】实操小案例,开发DataSet API实现简单的单词计数
文章目录一、创建maven工程,导包二、开发代码三、打包,上传到web执行一、创建maven工程,导包<properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.targ...原创 2020-05-05 14:34:13 · 358 阅读 · 0 评论 -
【Flink】记录一下flink的多种集群环境搭建
主要有standalone集群部署,HA模式部署,on-yarn集群部署原创 2020-05-05 10:53:53 · 372 阅读 · 0 评论 -
【Flink】使用之前,先简单了解一下Flink吧!
文章目录Flink简单介绍概述无边界数据流和有边界数据流技术栈核心组成架构体系重要角色Flink与Spark架构概念转换Flink简单介绍概述 在使用Flink之前,我们需要大概知道Flink是什么? 首先,从Flink的官网可以有一个简单的了解:Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中...原创 2020-05-04 22:12:21 · 262 阅读 · 0 评论