flink
文章平均质量分 66
千里风雪
个人比较喜欢打台球, 篮球, 跑步, 平时没事敲敲代码, 听听歌
展开
-
java.lang.RuntimeException: Failed to serialize element. Serialized size (> 134217729 bytes) exceeds
java.lang.RuntimeException: Failed to serialize element. Serialized size (> 134217729 bytes) exceeds JVM heap space原创 2022-10-14 10:26:12 · 1054 阅读 · 0 评论 -
flink 出现反压场景, 异常场景造成Exceeded checkpoint tolerable failure threshold.
现象: flink 自定义写hdfs 的addsink 方法处理慢,出现了挤压现象;导致上游反压,后排查发现时 addsink 里面有一个解析rawtrace方法耗时很长, 同时RichSinkFunction 是和平行度一样的线程数, 导致出现了阻塞解决方案: 把解析rawtrace代码放在了keyby, map里, keyby是按照traceId, 将解析rawtrace 放在procesfuntion里, 每来一条数据就解析一次, 而不是在最后写入的时候去解析,这样不会出现阻塞的现象。原创 2022-10-14 10:13:50 · 6986 阅读 · 0 评论 -
flink批量 async io 写入hbase
flink 采用批量 async io 方式写入hbase 一条一条数据写入hbase太慢了,故采用批量的方式,每2000条数据一个批量写入hbase,提高写入性能 设置一个三秒的翻滚窗口, 将数据聚合在一起, 然后批量的方式, Async IO 异步写入hbaseval RunDataDS: DataStream[FdcData[RunData]] = getDatas() /** *原创 2021-12-03 14:12:47 · 3903 阅读 · 0 评论 -
flink 1.12 批处理读写hive基础教程
flink 1.12批量读写hive基础教程原创 2021-12-01 13:37:55 · 6205 阅读 · 0 评论 -
在yarn集群中,flink日志输出到kafka
使用的是log4j的方式,因为需要对log做收集处理,方便后续排查问题和告警, 其实在spark中更加的有用, 正常在yarn-cluster中,spark是没法去查看log, 只有等到这个job停掉后, 再去使用yarn logs -applicationId application_1537843504301_3763查看日志在我们的项目中不用加任何的jar包在flink-1.9.0/conf/log4j.properties配置文件log4j.rootLogger=WARN,kafka.原创 2021-05-20 10:13:02 · 929 阅读 · 0 评论 -
yarn中flink容器的vcore大小总是1
运行flink 在on yarn环境当我使用-p8-ys 2启动flink时,我假设yarn将为唯一的任务管理器容器分配2个vcore,但是当我从yarn resource manager web ui检查每个容器的vcore数时,我总是看到vcore数是1。我还从yarn资源管理器日志中看到vcore是1。运行的脚本flink run -c $application_class -m yarn-cluster -p 8 -yjm 1024m -ytm 3048m -ynm $applica.原创 2021-05-17 17:21:38 · 1571 阅读 · 0 评论 -
flink 源码编译,执行自带的example代码
Error:java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED解决方案:取消掉 java11如下:原创 2021-03-18 15:58:11 · 858 阅读 · 0 评论 -
flink checkpoint和savepoint的实践使用
环境: flink job 采用的是on yarn模式步骤1:修改flink-conf.yamlstate.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfsstate.checkpoints.dir 保存检查点目录state.backend.incremental 增量存储state.checkpoints.num-retained 保留最近检查点的数量注释:hdfs://haservice/flink-checkpoints...原创 2021-02-23 10:53:19 · 1160 阅读 · 2 评论 -
flink 怎么保证广播流比数据流先到
解决flink问题小技巧: 一般使用flink中出现了问题, 可以在Apache Flink 中文用户邮件列表:http://apache-flink.147419.n8.nabble.com/找一下, 是不是有人也遇到过这样的问题两种方案:1: 通过state先缓存收到的数据;然后等到广播流到达后再进行处理2: 先在正常数据处理流的open方法中初始化访问一次配置,后续配置变更时再去使用广播中的数据对配置进行更新这里我采用的是第二种方案:比如说flink 中的 connec...原创 2021-01-26 09:55:24 · 4354 阅读 · 8 评论 -
报错: flink Submit new Job时 一直在saving
报错: flink Submit new Job时 一直在saving如下图所示:解决方案: 修改目录权限原创 2020-08-21 14:37:06 · 1128 阅读 · 0 评论 -
flink自定义数据源emqtt
flink自定义数据源emqtt测试环境 :单机服务器:8核12G,设置并行度为2,测试结果: 执行3分钟, 大概1秒4万的并发量, 未延迟, 只是简单测试, 并未达到极限。Client11.java (主要用来处理emqtt的配置)package com.flink.utils.emqtt;import java.net.URISyntaxException;...原创 2019-04-09 08:51:38 · 3945 阅读 · 2 评论 -
flink集群搭建(stanlone cluster)
目录1: 下载压缩包2: 修改配置文件 conf/flink-conf.yaml3: 修改配置文件 conf/masters4: 修改配置文件 conf/slaves5: 将flink复制到其他节点(相同位置)6:Start an HA-cluster(开启集群):官方文档: https://ci.apache.org/projects/flink/flink-...原创 2019-04-28 19:18:58 · 386 阅读 · 0 评论 -
flink写入hbase
参考: https://www.cnblogs.com/swordfall/p/10527423.htmlflink 流处理写入数据到hbase. 采用的是批量写入(500条数据写入一次)。HBaseWriter.javapackage com.flink;import com.flink.model.DeviceData;import org.apache.commo...原创 2019-05-14 12:00:36 · 9261 阅读 · 3 评论 -
flink性能测试 (工业领域三维空间数据的重要性)
flink性能测试集群测试:3台服务器 4核 16G逻辑:从emqtt消息队列获取数据---》 数据处理 --》 写入 redis, 写入opentsdb测试1个半小时, 大概1秒11万的并发量。3台服务器 8核 20G逻辑:如上测试一个半小时, 大概1秒20万的并发量。百度截图:场景: 采集工厂的数控机床、金属加工、汽车制造、机械设备等...原创 2019-05-14 14:39:41 · 3030 阅读 · 1 评论 -
flink cep demo
Flink CEP 是 Flink 的复杂处理库。它允许用户快速检测无尽数据流中的复杂模式。不过 Flink CEP 仅可用于通过 DataStream API处理。 参考细说Flink CEP,我们知道Flink 的每个模式包含多个状态,模式匹配的过程就是状态转换的过程,每个状态(state)可以理解成由Pattern构成,为了从当前的状态转换成下一个状态,用户可以在Pattern上指定条件,...原创 2019-06-05 10:42:41 · 2201 阅读 · 0 评论 -
Flink Table&SQL API demo
package com.flink.test;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.typeutils.TupleTypeInfo;import org.apache.flink.streaming.api.datastream.DataStream;impor...原创 2019-06-06 13:46:59 · 1167 阅读 · 0 评论 -
flink timeWindow demo
flink timeWindow demoflatMap 将一行数据切割成多条数据timeWindow 时间窗口, 翻滚窗口, 每5秒执行一次求和。SocketWindowWordCount.javapackage com.flink.test;import org.apache.flink.api.common.functions.FlatMapFunction;i...原创 2019-06-10 13:58:55 · 672 阅读 · 0 评论 -
flink watermark
flink中关于时间的三个概念:event time: 事件时间: 数据产生的时间processing time: 处理时间:当前机器处理该条事件的时间ingest time: 摄入时间:事件进入flink的时间watermark是用于处理flink乱序事件的,通常用watermark机制结合window来实现。案例: 窗口 [...原创 2019-07-02 16:25:29 · 255 阅读 · 0 评论 -
Flink 自定义trigger 同时按照计数和时间触发窗口计算
自定义窗口 实现同时按照计数和时间(processing-time)触发计算TriggersATriggerdetermines when a window (as formed by thewindow assigner) is ready to be processed by thewindow function. EachWindowAssignercomes wi...原创 2019-07-15 13:48:58 · 8464 阅读 · 2 评论 -
flink流处理访问mysql
业务场景如下: 概述:采集工厂设备的数据。 flink连接emqtt,采集工业物联网的数据,进行流处理,工厂设备数据内没有machID, 需要从mysq的设备信息基础表根据gateMac获取对应的machID。 访问mysql实现思路(一): flink项目在初始化的时候从mysql获取所有设备的基础信息,所遇问题:如果新增一个设备,flink项目需要重启一次...原创 2019-04-10 10:30:12 · 14779 阅读 · 9 评论