flink
泛音青年
世界上最美的语言有两种,一种是五线谱,一种是二进制
展开
-
远程监控Flink任务性能内存分析超详细篇
前言上一篇讲了JVM性能调优的实战工具,针对于普通jar包的进程只需配置JXM即可,这篇讲解真实业务场景中服务器负载过高,首先找出性能耗费最高的进程,然后通过jconsole.exe和jvisualvm.exe工具分析。不出意外,这将是全网第一篇讲远程监控flink任务的教程工具介绍:JConsole 是一个内置 Java 性能分析器,可以从命令行或在 GUI shell 中运行。可以轻松地使用 JConsole来监控 Java 应用程序性能和跟踪 Java 中的代码,分析堆栈溢出、多线程死锁等效果俱原创 2020-07-13 18:16:09 · 3974 阅读 · 1 评论 -
Flink读取Kafka数据批量写入ES(elasticsearch)
Flink实时消费kafka数据,数据经过处理,富化、清洗等操作,写入ES。在流式计算中,此场景十分常见。本文采用ES的批量操作BulkProcessor方式,此方式使用的是TransportClient,基于Tcp协议;而rest方式采用的是restClient,基于http协议,并不能保证结果的准确性。参考一、依赖准备:主要依赖:<dependency> <groupId>org.elasticsearch</groupId> <art原创 2020-07-10 18:28:48 · 6225 阅读 · 2 评论 -
Flink实战—基于时间窗口定时输出sink
Flink时间窗口运用上一篇介绍了Flink定时读取外部数据Flink 定时加载外部文件数据并广播这一篇将介绍Flink定时输出到外部存储介质,有两种办法实现,一种是同上一篇一样,在RichXXXFunction中实现SinkFunction的方法,在其中open()方法中引入java的定时任务。本文介绍另一种实现,基于Flink window窗口机制,定时sink。需求:经过...原创 2020-04-14 17:40:00 · 4989 阅读 · 0 评论 -
Flink编程报错集锦
1、Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' inthe classpath.Exception in thread "main" org.apache.flink.table.api.TableException: findAndCr...原创 2020-03-09 12:17:42 · 7535 阅读 · 4 评论 -
Flink按统计Kafka中每小时的数量并输出到MySQL
基于Flink1.9,统计某个日志中每小时的数据量,并输出到MySQLpublic static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ...原创 2020-03-17 16:02:54 · 4432 阅读 · 0 评论 -
Flink 定时加载外部文件数据并广播
场景:刚做完的需求,一个kafka的流数据,需要和外部文件数据进行对比,这个外部文件存在每天更新的场景,所以需要再flink中定时读取,并用广播机制,广播到下游。1、实时流:基于flink1.9.2,必须使用FlinkKafkaConsumerFlinkKafkaConsumer ssConsumer = new FlinkKafkaConsumer(READ_TOPIC, new ...原创 2020-04-10 16:56:43 · 4710 阅读 · 4 评论