Flink
文章平均质量分 78
实时计算
XuTengRui
这个作者很懒,什么都没留下…
展开
-
Flink使用指南:深入理解Flink SQL工作机制
Flink SQL 引擎会将 Physical Plan 通过 Code Generation 翻译为 Transformations,再进一步编译为可执行的 JobGraph。2.4 Physical Planning on Stream以上介绍了 Flink SQL 引擎的整体工作流,上述例子是假定以批模式编译的,下面我们来介绍一下以流模式编译时,在生成 Physical Plan 过程中的一个重要机制:Retraction Mechanism (aka. Changelog Mechanism转载 2021-08-25 16:36:30 · 1534 阅读 · 0 评论 -
Flink使用指南:TwoPhaseCommitSinkFunction实现二阶段提交保证数据一致性
系列文章目录Flink使用指南:Checkpoint机制,完全搞懂了,你就是大佬!Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数1. 原理思想Flink自带的TwoPhaseCommitSinkFunction可以实现2pc提交方式保证数据一致性,我们先来看下实现这个类的方法:2pc提...原创 2021-08-18 11:06:09 · 4457 阅读 · 10 评论 -
Flink源码解析: Flink客户端提交程序源码过程
系列文章目录Flink源码分析:Flink SQL Submit源码提交过程 (1)Flink源码分析:基于事件时间场景下WaterMark源码分析Flink源码分析: 重启策略机制RestartStrategyFlink源码分析: 广播状态流实现动态更新或字段参数变更Flink源码分析: Flink JDBC Upsert模式实现原理文章目录系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结前言上期解原创 2021-08-10 00:31:13 · 525 阅读 · 0 评论 -
Flink源码分析:Flink SQL Submit源码提交过程
系列文章Flink源码解析:基于事件时间场景下WaterMark源码分析Flink源码分析: 重启策略机制RestartStrategyFlink源码分析: 广播状态流实现动态更新或字段参数变更Flink源码分析: Flink JDBC Upsert模式实现原理目录系列文章一. SqlClient.class加载外部jar包加载lib包下的jar包创建一个本地执行器用执行器加载默认环境创建客户端客户端中打开一个新的会话执行SQL总结关注原创 2021-08-03 22:11:38 · 1010 阅读 · 0 评论 -
Flink源码分析:基于事件时间场景下WaterMark源码分析
系列文章目录Flink源码分析: 重启策略机制RestartStrategyFlink源码分析: 广播状态流实现动态更新或字段参数变更Flink源码分析: Flink JDBC Upsert模式实现原理前言这周比较忙,没时间写博客,趁着周五抓紧写一篇,保证业绩。努力的打工人前两天在群里看到一个小伙伴说他在面试时被面试官问了一套Flink的WaterMark源码,被问了简直一脸懵逼,最后惨遭回去等通知吧....想想自从把公司生产线的Flink从1.10升级到1.12版本后对Wate原创 2021-07-30 15:50:26 · 430 阅读 · 0 评论 -
Flink使用指南:Flink SQL聚合场景下的优化方案,一定要收藏!
系列文章目录Flink使用指南: 教你Flink SQL自定义Connector开发,使用SQL入库更方便!Flink使用指南:Flink设置全局变量,并在函数中获取,让你的代码更加优雅!Flink使用指南:Checkpoint机制,完全搞懂了,你就是大佬!Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数..原创 2021-07-21 11:28:42 · 1686 阅读 · 1 评论 -
Flink使用指南: 教你Flink SQL自定义Connector开发,使用SQL入库更方便!
系列文章目录Flink使用指南:Flink设置全局变量,并在函数中获取,让你的代码更加优雅!Flink使用指南:Checkpoint机制,完全搞懂了,你就是大佬!Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数前言最近的工作主要是在向实时计算平台方向迁移,之前的实时计算任务都是用Flink Dat.原创 2021-07-17 11:46:57 · 3416 阅读 · 2 评论 -
Flink使用指南:Flink设置全局变量,并在函数中获取,让你的代码更加优雅!
系列文章目录Flink使用指南:Checkpoint机制,完全搞懂了,你就是大佬!Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数设置全局变量Flink允许将自定义的配置传递给ExecutionConfig的环境接口,由于执行配置科在所有的用户功能中访问,因此自定义配置将在所有功能中全局可用。Conf原创 2021-07-15 11:51:59 · 10292 阅读 · 1 评论 -
Flink使用指南:Flink操作命令基础整理 (日常更新中...)
系列文章目录Flink使用指南:Checkpoint机制,完全搞懂了,你就是大佬!Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数flink -run命令:-c,--class <classname> : 需要指定的main方法的类-C,--classpath <url> : 向原创 2021-07-06 16:05:38 · 3530 阅读 · 3 评论 -
Flink使用指南:状态计算完全搞懂了,你就是大佬!
系列文章目录Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数目录系列文章目录前言一、Checkpoint机制如何开启Checkpoint二、Keyed State 和 Operator State原始状态和托管状态如何使用Managed Keyed State状态的生命周期(TTL).原创 2021-07-05 15:59:00 · 2172 阅读 · 19 评论 -
Flink使用指南: 面试必问内存管理模型,进大厂一定要知道!
系列文章目录Flink使用指南: Kafka流表关联HBase维度表Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数前言如果大数据从业者经常使用Spark,Flink两大计算引擎,内存管理模型概念是使用者必须要知道的概念,熟悉内存管理模型可以帮助大家写出更好的代码,计算性能较慢时可以根据内存管理模型重新分配或者优化资源。今天给大家讲解下基于Flink1.12版本的内存管理模型,以及引申出Flink对堆外内存的使用。以后有时间的话原创 2021-07-04 22:30:11 · 977 阅读 · 6 评论 -
Flink使用指南: Kafka流表关联HBase维度表
系列文章目录Flink使用指南: Watermark新版本使用Flink使用指南: Flink SQL自定义函数目录系列文章目录前言maven依赖创建Kafka流表创建HBase维度表创建Sink表计算逻辑总结前言Flink:1.12.4Kafka:2.4HBase: 2.3在企业实时数仓建设过程中,需要制作DWD明细层的业务宽表,结合业务场景调研了一下使用Flink做实时宽表的方案,发现使用窗口join可能存在丢数据的风险,最原创 2021-07-01 22:45:33 · 1869 阅读 · 4 评论 -
Flink sql写入Postgresql时 解决非空列存在Null值办法
报错信息如下:aused by: org.apache.flink.table.api.TableException: Column 'som_sysno' is NOT NULL, however, a null value is being written into it. You can set job configuration 'table.exec.sink.not-null-enforcer'='drop' to suppress this exception and drop such原创 2021-07-01 19:07:09 · 3197 阅读 · 1 评论 -
Flink使用指南: Watermark新版本使用
系列文章目录Flink使用指南: Flink SQL自定义函数目录系列文章目录前言一、新版本API区别二、WaterMark1.watermark简介2.watermark使用3.内置watermark生成器3.1.单调递增时间戳分配器3.2.固定延迟时间戳分配器总结前言Flink基于事件时间(EventTime)处理数据时需要指定水印(WaterMark)来标记数据处理到哪里,最近生产上把Flink版本从1.10升级到了1.12版本,发现WaterM原创 2021-06-28 23:41:56 · 1493 阅读 · 5 评论 -
Flink使用指南: Flink SQL自定义函数
系列文章目录Flink使用指南提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pand..原创 2021-06-18 18:08:32 · 5072 阅读 · 3 评论 -
Flink源码分析(四): Flink的序列化框架
目前 Java 生态圈提供了众多的序列化框架:Java serialization, Kryo, Apache Avro 等等。但是 Flink 实现了自己的序列化框架。因为在 Flink 中处理的数据流通常是同一类型,由于数据集对象的类型固定,对于数据集可以只保存一份对象Schema信息,节省大量的存储空间。同时,对于固定大小的类型,也可通过固定的偏移位置存取。当我们需要访问某个对象成员变量的时候,通过定制的序列化工具,并不需要反序列化整个Java对象,而是可以直接通过偏移量,只是反序列化特定的对象成员转载 2020-12-31 15:53:34 · 427 阅读 · 1 评论 -
Flink源码分析: Flink JDBC Upsert模式实现原理
Flink源码专辑:Flink源码分析(一): 重启策略机制RestartStrategyFlink源码分析(二): 广播状态流实现规格更新或字段参数变更前言:版权说明:本专栏是作者在日常工作期间对技术的不断深入研究后的沉淀,辛苦码字总结而成,如有问题,欢迎指正。欢迎同行加入大数据技术群QQ:427560730版本号:Flink1.10.0在使用Flink SQL模式时,可以选择参数为’update-mode’=‘Upsert’,今天我们就跟着这个参数来看看flink jdbc connecto原创 2020-12-30 18:47:05 · 3043 阅读 · 1 评论 -
Flink源码分析: 广播状态流实现动态更新或字段参数变更
前言:在使用Flink流式计算时,代码功能实现重要的同时,后期的可维护性一样很重要。作者在开发过程中就遇见过这样一个场景:如果实时计算过程中,我源表突然增加一个字段怎么办,难道Flink程序要改代码重启吗,虽然Flink是有Savepoint机制,但是这样还是会造成延迟,而且后期维护不是很友好。为了解决这样问题,小编发现了一个Flink的一个功能很强大: 广播状态流机制。BroadCast State Stream:...原创 2020-08-04 14:54:44 · 1763 阅读 · 3 评论 -
Flink源码分析: 重启策略机制RestartStrategy
版权说明:本专栏是作者在日常工作期间对技术的不断深入研究后的沉淀,辛苦码字总结而成。严禁转载,严禁作为商业用途转发。欢迎同行加入大数据技术群QQ:427560730版本号:Flink1.10.0重启策略概览:public static RestartStrategies.RestartStrategyConfiguration noRestart() { return new RestartStrategies.NoRestartStrategyConfiguration();原创 2020-06-22 16:56:47 · 900 阅读 · 1 评论