![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 85
程序猿-瑞瑞
大数据开发程序员~!欢迎关注共同进步!坚持不断学习给自己充电,但是同时保护好自己的头发哈哈哈
展开
-
Flink CDC 原理
Flink CDC(Change Data Capture)是 Apache Flink 提供的一个变更数据捕获工具集。它可以监控数据库的变更,并将这些变更实时地以流的形式提供给下游系统,这些变更包括插入、更新和删除操作。Flink CDC 适用于需要实时数据管道和数据流处理的场景,如实时数据分析、数据仓库更新、缓存同步、ETL 过程、微服务架构中的数据一致性等。原创 2024-05-14 18:44:31 · 1018 阅读 · 0 评论 -
Flink 流处理核心API
Flink 流处理核心APIEnvironmentSource从Java的集合中读取数据从文件读取数据从Socket读取数据从Kafka读取数据自定义数据源TransformmapflatMapfilterkeyByshuffle过时的split和selectconnectunion简单滚动聚合算子reduceprocess对流重新分区的几个算子SinkprintkafkaSinkRedisSinkElasticsearchSink自定义Sink Environment // 批处理环境 Execution原创 2021-01-30 09:57:50 · 171 阅读 · 0 评论 -
Flink 流处理高阶编程实战案例
Flink 流处理高阶编程实战案例基于埋点日志数据的网络流量统计指定时间范围内网站总浏览量(PV)的统计指定时间范围内网站独立访客数(UV)的统计电商数据分析实时热门商品统计基于服务器log的热门页面浏览量统计页面广告分析页面广告点击量统计黑名单过滤恶意登录监控订单支付实时监控 基于埋点日志数据的网络流量统计 指定时间范围内网站总浏览量(PV)的统计 每个小时的pv统计 package com.yire.practice.highlevel; import com.yire.bean.UserBehavi原创 2021-01-29 21:09:38 · 499 阅读 · 1 评论 -
Flink 流处理高阶编程、window、watermark、state
Flink+Kafka实现端到端Exactly Once语义 一、前言 Flink通过Checkpoint机制实现了消息对状态影响的Exactly Once语义,即每条消息只会影响Flink内部状态有且只有一次。但无法保证输出到Sink中的数据不重复。以图一所示为例,Flink APP收到Source中的A消息,将其转化为B消息输出到Sink,APP在处理完A1后做了一次Checkpoint,假设APP在处理到A4时发生错误重启,APP将会重新从A2开始消费并处理数据,就会导致B2和B3重复输出到Sink原创 2021-01-29 21:04:05 · 328 阅读 · 0 评论 -
Flink入门到放弃
简介 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。 https://flink.apache.org/zh/# 快速上手 准备 pom.xml <properties> <flink.version>1.12.0</flink.version> <java.version>1.8</java.ve原创 2021-01-29 20:28:21 · 325 阅读 · 0 评论