Flink
文章平均质量分 84
HD0do(迪答数据)
我已成魔
展开
-
Flink SQL 实现读写redis,并动态生成Hset key
Flink SQL 实现读写redis,并动态生成Hset key原创 2022-07-04 17:45:06 · 3068 阅读 · 1 评论 -
Flink CDC mongoDB 使用及Flink sql解析monggo中复杂嵌套JSON数据实现
Flink CDC mongoDB 使用及Flink sql解析monggo中复杂嵌套JSON数据实现原创 2022-06-29 19:32:04 · 3222 阅读 · 0 评论 -
Flink task故障失败恢复策略详解及对应参数、代码配置
Flink任务执行过程中经常会出现由于网络或者内存等原因导致某些task失败,这时就需要我们配置对应的task故障恢复,也就是重启策略来保障某个子task失败可以自动恢复过来而不影响导致整个flink job任务失败。Flink的故障恢复有四种方式:重启策略分为:固定延迟重启策略、故障率重启策略、无重启策略、后备重启策略;原创 2022-03-20 18:48:25 · 4065 阅读 · 0 评论 -
Flink SQL使用jdbc连接数据库参数配置及注意事项
Flink SQL 通过jdbc连接表的DDL语句create table deal_mysql(tenant_id String,shop_id String,pay_amt decimal(19, 2),pay_qty double,sku_code String,category_code_b string,write_time timestamp,dt Date,primary key (tenant_id,sku_code) not enforced)with('con原创 2022-02-09 19:19:36 · 9587 阅读 · 1 评论 -
Flink cdc使用及参数设置
FLInk sql cdc 监听mysqlbinLog以及代码监听,和对应的参数设置,过滤掉数据库的删除操作原创 2022-01-20 20:06:52 · 9700 阅读 · 0 评论 -
FlinkSQL详细系统的全面讲解及在企业生产的实践使用
FlinkSQL中mysql,kafka,Clickhouse数据源对接,实时流表关联维度表,CDC的使用,FlinkSQL写入clickhouse两种方式实现,FLINkSQL全面详解,解析flinkSql解析JSON数据,访问量和订单金额统计生产实践原创 2022-01-10 20:57:37 · 3444 阅读 · 0 评论 -
Flink之watermark(水印)讲解
flink中watermark的详细介绍使用前提:处理数据开窗,处理数据的时间语义是事件时间,也就是每条数据产生的时间。*使用场景(解决问题):处理乱序数据:flink中是实时处理数据,但是在处理数据的时候会出现因为网络传输的问题,所以数据先产生的反而到后面才到达,在被处理时候就会出现数据混乱,而且因为开窗,窗口关闭但是本窗口的数据来迟,导致数据丢失;理想转态,数据按照顺序到达则对应窗口可以获得的数据就是每一个窗口都可以得到对应的数据但实际数据到来的顺序可能会出现乱序:则没有w原创 2021-03-08 22:17:29 · 2525 阅读 · 0 评论 -
Flink学习路径及方法攻略
Flink作为新一代的大数据分布式的计算引擎,具有更快的计算速度,更好的实现了数据的式处理,更有阿里团队在大力的推荐Flink的开发,所以学习Flink对于大数据行业来说是十分必要的;学习它是为了在实际工作中用到,那具体要学习Flink中的那些内容呢,下面来列举一下:学习内容一、基础篇1.了解flink的基本特点:流和批的思想、事件驱动、分层API等2.各个特点应用的场景,数据管道应用3.Flink的集群安装,及本地运行模式,yarn模式,Standalone模式等的区别和特点4.idea导入原创 2021-05-27 21:19:44 · 1036 阅读 · 0 评论