Flink
文章平均质量分 64
Flink框架相关
mpmt91
now or next
展开
-
基于Flink的JDBC插入Nested结构数据到Clickhouse
1.Clickhouse的Nested数据结构Nested是一种嵌套表结构。一张数据表,可以定义任意多个嵌套类型字段,但每个字段的嵌套层级只支持一级,即嵌套表内不能继续使用嵌套类型。对于简单场景的层级关系或关联关系,使用嵌套类型也是一种不错的选择。create table test_nested( uid Int8 , name String , props Nested( pid Int8, pnames String , pva原创 2021-07-17 08:09:32 · 1498 阅读 · 0 评论 -
Flink数据源不连贯解决方案
公司使用Flink分析流式数据时,有一批数据发送时间段比较固定,是早晨九点到早晨十二点左右,然后下午一点到四点十分之前,过了四点十分之后就没有数据发送,直接使用基于事件时间的窗口函数,会导致当天的最后一批数据由于Watermark没有到达窗口触发时间而等到第二天有新的数据进入时才会触发计算。和同事讨论以及查阅相关资料后,觉得解决这类型问题,可以从Watermark和触发条件两个方向解决,解决方案如下。1. 重写Watermark生成策略主要是在生成Watermark时不仅需要考虑事件时间,还需要考虑如原创 2021-06-03 21:52:57 · 789 阅读 · 5 评论 -
Flink的Yarn-Per-Job提交指令
Flink的yarn-per-job提交0.运行环境Flink版本:Flink 1.13.0集群环境:CDH6.3.2新版本的Flink可以通过-t参数提交统一格式的任务,日常工作中通常使用Per-Job On Yarn模式提交任务主要描述该部分的提交流程1.提交任务提交任务主要是通过./bin/flink run -t yarn-per-job完成常用的提交指令如下./bin/flink run \# 指定yarn的Per-job模式,-t等价于-Dexecution.target-原创 2021-05-18 12:42:39 · 9983 阅读 · 6 评论