![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
zzz0286
全干工程师会点前端,会点后台,会点大数据
展开
-
用Flink实现的一个实时订单对账功能, Flink的双流实时对账
1.为什么业务订单数据不用Mysql之类的强事务性数据库监控反而用Flink的实时?一般这种涉及到订单的数据流都要用mysql监控实现,但是鉴于减少mysql的数据库压力和提高更实时性,可以考虑用Flink实时的数据流做实时的参考2.如何处理乱序数据?使用watermark水位保证第一层数据延迟.PS:这里的水位不能设置太长延迟使用processfuntion更加灵活的处理迟到...原创 2020-04-29 22:53:04 · 1414 阅读 · 0 评论 -
Flink中的布隆过滤器结合Redis的实现
场景: 同一时段大量用户涌入一个入口, 用常规的Set集合去重会造成OOM在Flink项目当中使用boolm过滤器进行UV的去重1. 算子进行计算 .process(new processFunWithBoolm())2.实现一个布隆过滤器class MyBloom(size: Long) extends Serializable { // 1<<27 ...原创 2020-04-27 20:25:42 · 908 阅读 · 0 评论 -
AggregateFuntion ,ProcessFuntion 使用
AggregateFuntion 是相当于累加器ProcessFuntion 是Flink的最底层API, 相对于DataStreamAPI 能访问更多的信息 如时间戳 ,wartermark等更多特定事件原创 2020-04-25 10:58:50 · 272 阅读 · 1 评论 -
Flink的运行架构理解
一 Flink运行时的组件Job ManagerResourceManagerTaskManagerDispatch先看一张简单的运行架构图, 没有基于Yarn :原创 2020-04-24 16:38:29 · 105 阅读 · 0 评论 -
Flink Procession API的使用
Flink 一共有三个层级APITABLE SQL APItransfrom APIProcession API这节主要讲 Procession原创 2020-04-24 09:30:38 · 97 阅读 · 0 评论 -
Flink的状态编程和容错机制
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>MY-dodos</title> <link rel="stylesheet" href="i原创 2020-04-24 09:07:55 · 402 阅读 · 0 评论 -
Flink-如何保证kafka的端到端exectyl-one
端到端的exactly-once对sink要求比较高,具体实现主要有幂等写入和事务性写入两种方式原创 2020-04-24 09:05:25 · 209 阅读 · 0 评论 -
Flink的 warterMark 理解
Watermark基本概念我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的,虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但是也不排除由于网络、分布式等原因,导致乱序的产生,所谓乱序,就是指Flink接收到的事件的先后顺序不是严格按照事件的Event Time顺序排列的。 那么此...原创 2020-04-24 09:03:52 · 946 阅读 · 0 评论