Flink
文章平均质量分 61
胖胖胖胖胖虎
这个作者很懒,什么都没留下…
展开
-
kafka latest 模式消费偏移丢数据
flink kafka原创 2023-09-25 11:07:23 · 486 阅读 · 0 评论 -
实时数仓新选择——Doris构建实时数仓落地方案详解
doris 构建实时数仓落地方案转载 2023-07-13 10:24:38 · 3048 阅读 · 0 评论 -
Flink中 slot, task, 并行度概念以及与CPU,内存关系
Flink中slot是任务执行所申请资源的最小单元,同一个TaskManager上的所有slot都只是做了内存分离,并没有做CPU隔离。每一个TaskManager都是一个JVM进程,如果某个TaskManager 上只有一个 slot,这意味着每个 task 组都在单独的 JVM 中运行,如果有多个 slot 就意味着更多 subtask 共享同一 JVM。一般情况下有多少个subtask,就是有多少个并行线程,而并行执行的subtask要发布到不同的slot中去执行。转载 2023-06-28 10:55:04 · 1607 阅读 · 0 评论 -
flink + Atlas 任务数据血缘调通
Flink atlas原创 2023-06-14 16:23:52 · 977 阅读 · 4 评论 -
Flink Kafka 问题记录
【代码】Flink Kafka 问题记录。原创 2023-04-25 09:57:41 · 496 阅读 · 0 评论 -
Flink watermark
flink watermark转载 2023-03-29 11:20:07 · 91 阅读 · 0 评论 -
flinksql phoenix Lookup join
【代码】dlink phoenix Lookup join。原创 2023-03-14 18:06:09 · 233 阅读 · 0 评论 -
Flink 内存管理
flink转载 2023-03-09 15:32:41 · 259 阅读 · 0 评论 -
flink 应用 keyby算子,增加数据迟延
flink keyby 延时原创 2023-01-13 17:55:23 · 181 阅读 · 0 评论 -
flink on k8s
flink on k8s原创 2022-12-02 16:55:56 · 645 阅读 · 0 评论 -
Flink on Yarn no starting application as amIfStarted exceeds amLimit
yarn no starting application as amIfStarted exceeds amLimit转载 2022-11-27 12:12:45 · 178 阅读 · 0 评论 -
FlinkSQL JDBC 批处理 java heap space
flinksql java heap space原创 2022-11-21 20:11:59 · 558 阅读 · 0 评论 -
Flink 广播流
flink 广播原创 2022-11-15 23:11:04 · 691 阅读 · 0 评论 -
flink on yarn
flink原创 2022-11-06 15:26:16 · 617 阅读 · 0 评论 -
flink关于 kafka source 偏移量
flink kafka 偏移量转载 2022-11-06 11:49:55 · 1307 阅读 · 0 评论 -
Flink savepoint | checkpoint 恢复
flink 恢复原创 2022-11-04 23:19:37 · 650 阅读 · 0 评论 -
flink The object probably contains or references non serializable fields.
flink serializable问题原创 2022-08-10 11:01:48 · 1399 阅读 · 0 评论 -
Flink问题记录
Flink问题记录原创 2022-05-09 19:13:03 · 1606 阅读 · 1 评论 -
FlinkX 记录
FlinkX 记录原创 2022-04-17 21:38:31 · 2511 阅读 · 0 评论 -
java.lang.ClassNotFoundException: org.apache.phoenix.jdbc.PhoenixDriver
flink connector phoenix 一直报错如下单独添加如下的jar 到 flink/lib 下,包如下异常、没有更详细的报错[root@nufront-worker-01 lib]# pwd/opt/module/flink-1.13.2/lib[root@nufront-worker-01 lib]# ll...-rw-r--r-- 1 root root 4317285 Apr 1 20:10 phoenix-core-5.0.0-HBase-2.0.jar...原创 2022-04-01 20:56:27 · 3622 阅读 · 1 评论 -
flink connector phoenix
flink phoenix connector原创 2022-03-30 16:24:56 · 3452 阅读 · 0 评论 -
FlinkSQL IncompatibleClassChangeError: Implementing class
奇怪的问题:IncompatibleClassChangeError: Implementing class原创 2022-03-30 16:06:03 · 655 阅读 · 0 评论 -
FlinkCDC 2.1.1记录
MysqlMySqlSource<String> mySqlSource = MySqlSource.<String>builder() .hostname("localhost") .port(3306) .databaseList("test") // monitor all tables under inventory database .table原创 2022-03-18 15:55:27 · 1504 阅读 · 0 评论 -
CDH + FlinkSQL1.13.2 + hive
CDH FlinkSQL hive原创 2022-02-25 15:07:26 · 1867 阅读 · 1 评论 -
Flink博客记录
Flink 博客记录原创 2021-12-22 14:44:28 · 690 阅读 · 0 评论 -
Flink elasticsearch
public class ElasticSearchTest { public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); environment.enableCheckpointing(5000L);原创 2021-08-29 10:20:52 · 239 阅读 · 0 评论 -
FlinkSQL kafka流式写入hive
public class Kafka2Hive { public static void main(String[] args) { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlink原创 2021-08-18 15:55:22 · 1033 阅读 · 6 评论