flink
文章平均质量分 55
派大星的海洋ku
小数据开发攻城狮
展开
-
Doris实时数仓dim层构建
flink cdc实时同步mysql维表原创 2023-09-14 10:19:40 · 3745 阅读 · 0 评论 -
flink streamload写入doris
详细介绍了基于flink 1.16的各种写入方式,本文主要介绍的是基于flink 1.13的RowData 数据流(RowDataSerializer)写入原创 2023-09-14 09:43:43 · 3896 阅读 · 0 评论 -
Flink CDC和mysql-connector-java依赖冲突导致没有输出
flink cdc没有数据原创 2023-04-23 09:52:06 · 3863 阅读 · 0 评论 -
Flink获取维表数据实时join
数仓的dim层用于存放业务的维表数据,业务数据一般存放在关系型数据库。维表可用Flink CDC、Maxwell、Canal等方式,通过监听Mysql binlog的方式实现增量同步。原创 2023-07-17 09:52:24 · 3713 阅读 · 1 评论 -
Flink StreamingFileSink写入hdfs,文件一直处于inprogress
文件一直处于inprogress归根结底就是checkpoint不成功。使用StreamingFileSink 时需要启用 Checkpoint ,每次做 Checkpoint 时写入完成后,桶中临时文件转成正式文件。如果 Checkpoint 被禁用,部分文件(part file)将永远处于 ‘in-progress’ 或 ‘pending’ 状态,下游系统无法安全地读取。...原创 2022-08-19 11:19:03 · 5462 阅读 · 0 评论 -
Flink消费Kafka插入Clickhouse
Flink消费Kafka插入Clickhouse目录Flink消费Kafka插入Clickhouse一、Maven依赖二、Job类二、Kafka FlatMap算子三、Clickhouse FlatMap算子四、Clickhouse建表一、Maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cl原创 2022-05-31 14:18:50 · 4389 阅读 · 0 评论 -
Flink On Yarn模式配置
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装FlinkFlink On Yarn模式配置引言 Flink依靠Yarn来实现高可用,由于Yarn依赖于Hadoop,而Hadoop又依赖于Jdk。 准备三台机器 1.1.1.1 node1 1.1.1.2 node2 1.1.1.3 node3一、安装JDK1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar原创 2021-10-18 15:48:21 · 10060 阅读 · 3 评论