![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Apache Flink
文章平均质量分 92
000X000
这个作者很懒,什么都没留下…
展开
-
Flink实战之实时风控规则引擎
Flink实战之实时风控规则引擎原创 2022-06-20 17:17:45 · 4547 阅读 · 3 评论 -
Flink checkpoint机制详解
Flink checkpoint机制详解原创 2022-06-09 09:03:07 · 4338 阅读 · 2 评论 -
Flink 状态管理详解(超全收藏)
Flink 状态管理详解(超全收藏)原创 2022-05-16 09:26:15 · 3687 阅读 · 3 评论 -
Flink CDC 详述实时数据湖
Flink CDC 详述实时数据湖原创 2022-04-07 09:10:17 · 1925 阅读 · 0 评论 -
Flink CDC 2.2 正式发布,新增功能概述
Flink CDC 2.2 正式发布,新增功能概述原创 2022-03-30 13:48:46 · 4948 阅读 · 1 评论 -
Flink CDC实时抽取 Oracle 数据实践
Flink CDC实时抽取 Oracle 数据实践Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1,该版本通过引入内置 Debezium 组件,增加了对 Oracle 的支持。笔者第一时间下载了该版本进行试用并成功实现了对 Oracle 的实时数据捕获以及性能调优,现将试用过程中的一些关键细节进行分享。说明:本文力求根据实际的问题排查经验,以及内部执行原理分享一些 “干货”,所以对 Flink CDC,以及其内置的 Debezium 模块的基础使用方法并未涉及,对于原创 2021-12-17 13:42:39 · 4798 阅读 · 1 评论 -
Flink CDC 2.0 详解
一、CDC 概述CDC 的全称是 Change Data Capture ,在广义的概念上,只要是能捕获数据变更的技术,我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛:数据同步:用于备份,容灾; 数据分发:一个数据源分发给多个下游系统; 数据采集:面向数据仓库 / 数据湖的 ETL 数据集成,是非常重要的数据源。CDC 的技术方案非常多,目前业界主流的实现机制可以分为两种: 基于查询的 C原创 2021-08-26 13:51:21 · 2693 阅读 · 6 评论 -
Apache Flink 开发环境搭建和应用的配置、部署及运行
前言本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。课程内容包括:Flink 开发环境的部署和配置 运行 Flink 应用(包括:单机 Standalone 模式、多机 Standalone 模式和 Yarn 集群模式)一、Flink 开发环境部署和配置Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 GitHub 上,并使用 Maven 来编原创 2021-08-26 13:47:01 · 1529 阅读 · 0 评论 -
FLINK SQL实战案例之商品销量实时统计
问题导读1.本文的业务包含哪些流程?2.本文难点在什么地方?3.如何通过flink sql实现商品销量实时统计?1、案例背景介绍互联网电商往往需要对订单商品销量实时统计,用于实时大屏展示,库存销量监控等等。本文主要介绍如何通过flink sql的方式进行商品实时销量的统计。业务流程介绍:1.使用otter采集业务库binlog数据输出到kafka2.flink读取kafka数据进行商品销量统计3.统计结果输出到mysql4.下游业务系统直接读取mysql数据业务需求介绍:根据订单创建时间统计商品每天.原创 2021-05-26 09:43:36 · 2177 阅读 · 1 评论 -
Flink SQL CDC 的实时增量同步数据
问题导读:1、怎样实现基于 Flink SQL CDC 的数据同步方案?2、CDC 是否需要保证顺序化消费?3、GROUP BY 结果如何写到 Kafka ?传统的数据同步方案与 Flink SQL CDC 解决方案业务系统经常会遇到需要更新数据到多个存储的需求。例如:一个订单系统刚刚开始只需要写入数据库即可完成业务使用。某天 BI 团队期望对数据库做全文索引,于是我们同时要写多一份数据到 ES 中,改造后一段时间,又有需求需要写入到 Redis 缓存中。很明显这种模式是不可持续发展的,这种双写到各原创 2021-05-25 14:01:25 · 5470 阅读 · 0 评论 -
Flink SQL中时态表
前言Flink 1.12正式发布后,带来了很多新的特性,本文重点学习和总结一下Flink 1.11和 Flink1.12中时态表的使用和自己的一个小总结,文章如有问题,请大家留言交流讨论,我会及时改正。本文主要将在Flink1.12中新的时态表的一些新的概念和注意事项,如何在Join中使用会在之后另一个篇文章中具体讨论。Flink中的时态表的设计初衷首先,大家需要明确一个概念,就是传统SQL中表一般表示的都是有界的数据,而直接套用于流计算这样源源不断的数据上是存在问题的,所以在Flink S原创 2021-03-23 09:45:58 · 1811 阅读 · 1 评论 -
运用Prometheus监控Flink
1.为什么选择Prometheus?2.使用自动发现的配置方式有什么优点?3.如何提交作业?为什么选择Prometheus?随着深入地了解Prometheus,你会发现一些非常好的功能:服务发现使配置更加容易。Prometheus支持consul,etcd,kubernetes以及各家公有云厂商自动发现。对于监控目标动态发现,这点特别契合Cloud时代,应用动态扩缩的特点。我们无法想象,在Cloud时代,需要运维不断更改配置。 开源社区建立了数百个exporter。基本上涵盖了所有基础设施.原创 2021-02-25 09:31:09 · 884 阅读 · 0 评论 -
深度解析 Flink 1.11流批一体 Hive 数仓
目录数仓架构离线数仓实时数仓Hive 实时化Hive streaming sinkHive streaming source实时数据关联 Hive 表Hive 增强Hive Dialect 语法兼容向量化读取简化 Hive 依赖Flink 增强Flink Filesystem connector引入 Max Slot简介:Flink 1.11 中流计算结合 Hive 批处理数仓,给离线数仓带来 Flink 流处理实时且 Exactly-onc.原创 2020-07-24 14:50:06 · 1583 阅读 · 1 评论 -
Flink实践:跨境电商 Shopee 的实时数仓之路
问题导读: 1、为什么要建立实时数仓? 2、Flink 在实时数据数仓建设中结合 Druid、Hive 有哪些应用场景? 3、实时任务监控如何实现? 4、Streaming SQL 如何平台化? 导读:本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践,主要内容包括: 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 ...原创 2020-07-09 10:57:00 · 390 阅读 · 1 评论 -
Flink 使用 broadcast 实现维表或配置的实时更新
问题导读1.本文介绍了几种维表方案?2.各个方案有什么优缺点?3. broadcast如何实现实时更新维表案例?通过本文你能 get 到以下知识:Flink 常见的一些维表关联的案例 常见的维表方案及每种方案适用场景,优缺点 案例:broadcast 实现维表或配置的实时更新一、案例分析维表服务在 Flink 中是一个经常遇到的业务场景,例如:客户端上报的用户行为日志只包含了城市 Id,可是下游处理数据需要城市名字 商品的交易日志中只有商品 Id,下游分析数据需要用到商品所属的类目..原创 2020-06-16 14:29:46 · 909 阅读 · 0 评论 -
Flink如何连接hive
回顾在上篇文章中,笔者使用的 CDH 版本为 5.16.2,其中 Hive 版本为 1.1.0(CDH 5.x 系列 Hive 版本都不高于 1.1.0,是不是不可理解),Flink 源代码本身对 Hive 1.1.0 版本兼容性不好,存在不少问题。为了兼容目前版本,笔者基于 CDH 5.16.2 环境,对 Flink 代码进行了修改,重新打包并部署。其实经过很多开源项目的实战,比如 Apache Atlas,Apache Spark 等,Hive 1.2.x 和 Hive 1.1.x 在大部分情况下,替换原创 2020-05-19 14:53:33 · 3309 阅读 · 0 评论 -
如何在 Flink 1.9 中使用 Hive?
Flink on Hive 介绍SQL 是大数据领域中的重要应用场景,为了完善 Flink 的生态,发掘 Flink 在批处理方面的潜力,我们决定增强 FlinkSQL 的功能,从而让用户能够通过 Flink 完成更多的任务。Hive 是大数据领域最早出现的 SQL 引擎,发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎,如 Spark SQL、Impala 等,都在一定程...原创 2019-12-30 16:57:06 · 163 阅读 · 0 评论 -
Flink在快手的应用实践
本次的分享包括以下三个部分:介绍 Flink 在快手的应用场景以及目前规模; 介绍 Flink 在落地过程的技术演进过程; 讨论 Flink 在快手的未来计划。一.Flink 在快手应用场景与规模1. Flink 在快手应用场景快手计算链路是从 DB/Binlog 以及 WebService Log 实时入到 Kafka 中,然后接入 Flink 做实时计算,其中包括实时 E...原创 2019-12-30 16:49:26 · 215 阅读 · 0 评论 -
Apache Flink SQL 详解与实践
问题导读1.为何会有Flink SQL?2.本文哪些地方涉及Flink 1.7?4.如何定义源(sources )和接收器(sinks)?5.Flink SQL本文介绍了哪些sql?6.将数据格式化为正确的格式以便进一步处理?7.如何监控Flink sql查询8.使用Flink SQL中的视图的作用是什么?9.本文使用Flink sql实现了什么案例?虽然Flink SQL最初于2016年8月...原创 2019-12-19 20:06:30 · 347 阅读 · 0 评论