flink
林筱
这个作者很懒,什么都没留下…
展开
-
JSON解析拍平工具
json解析拍平工具原创 2022-09-07 16:29:54 · 771 阅读 · 1 评论 -
【FLINK】 No Executor found. Please make sure to export the HADOOP_CLASSPATH
背景:使用java执行flink代码的时候出现报错(有小伙伴提到在新环境安装的flink中初次执行flink代码也可能会出现同样的错误)报错提示:No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath原因:原因:产生这个问题的原因这个,具体的意思就是从Flink 1.11开始,flink-shaded-ha原创 2021-04-19 16:31:02 · 3119 阅读 · 1 评论 -
Flink报错OutofMemoryError : Direct buffer memory
1、报错flink运行一段时间后报错:java.lang.OutOfMemoryError: Direct buffer memory截图:2、原因根据报错提示和flink在官网上的内存模型,我们可以看到是Direct Memory不够用了3、解决方法把task manager的内存和堆外内存调大,从而间接调大Direct Memoryflink默认的task manager 内存是1.7G我们在命令行里调整参数最后...原创 2021-03-29 20:49:10 · 4091 阅读 · 0 评论 -
FlinkSQL流表与维表join 和 双流join
维表是数仓中的一个概念,维表中的维度属性是观察数据的角度,补充事实表的信息。在实时数仓中,同样也有维表与事实表的概念,其中事实表通常为kafka的实时流数据,维表通常存储在外部设备中(比如MySQL,HBase)。对于每条流式数据,可以关联一个外部维表数据源,为实时计算提供数据关联查询。维表可能是会不断变化的,在维表JOIN时,需指明这条记录关联维表快照的时刻。本文主要介绍:1、流表和维表的区别2、流表和维表join的数据流转解析3、双流join的数据流转解析4、代码示例和场景1、流表和维表原创 2020-12-01 21:17:07 · 3960 阅读 · 2 评论 -
flinkSQL数据写kafka多分区
1、背景FlinkSQL数据写kafka,如果不设置并行度,默认是1。但是由于数据量和下游消费者的需求,需要往多个kafka分区写数据,提高并发,在这个情况下,需要保证同一个主键的数据发往同一个partition,flinkSQL已经支持这个功能,接下来我们实现一下2、实现(python代码)只需要两步:1⃣️初始化:初始化加上flink并行的配置table_env.get_config().get_configuration().set_string(“parallelism.default”,原创 2020-10-13 11:19:45 · 1946 阅读 · 0 评论 -
Flink自定义ClickHouseSink--数据写入ClickHouse
简介遇到需要将Kafka数据写入ClickHouse的场景,本文将介绍如何使用Flink JDBC Connector将数据写入ClickHouseFlink JDBC ConnectorFlink JDBC源码:/** * Default JDBC dialects. */public final class JdbcDialects { private static final List<JdbcDialect> DIALECTS = Arrays.asList( ne原创 2020-08-13 21:12:25 · 10040 阅读 · 16 评论