![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
少年阿宏
“总有一天你将破蛹而出,成长得比人们期待的还要美丽。但这个过程会很痛,会很辛苦,有时候还会觉得灰心。面对着汹涌而来的现实,觉得自己渺小无力。
但这,也是生命的一部分。做好现在你能做的,然后,一切都会好的。我们都将孤独地长大,不要害怕。”
展开
-
flink本地环境idea启动flink程序web ui页面
需要在项目中先导入flink-runtime-web依赖。原创 2022-12-31 18:17:16 · 435 阅读 · 0 评论 -
flink-connector-hbase1.4和2.2有什么区别?
flink-connector-hbase 1.4和2.2版本区别原创 2022-12-06 23:53:58 · 631 阅读 · 0 评论 -
Kafka 消息过期策略(时间相关参数)
retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数。在这种配置下,retention.ms=1小时的毫秒数 生效,kafka offset中数据已经不可见,flink也无法消费到数据。在新建topic的时候附加 retention.ms=1小时的毫秒数 这样的配置,背景:在不需要重启kafka的情况下,需要针对特定的topic做消息过期时间配置。(Kafka offset配置)retention.ms。标记delete时效。原创 2022-11-15 13:58:01 · 4277 阅读 · 0 评论 -
flink sql常用函数
flink sql函数原创 2022-09-16 11:40:23 · 4984 阅读 · 0 评论 -
flinksql和json对应数据类型转换
无原创 2022-08-28 10:46:36 · 1244 阅读 · 0 评论 -
Flink SQL 如何解析嵌套的 JSON 数据<转载>
flink sql转载 2022-08-27 23:19:26 · 823 阅读 · 0 评论 -
flinkcdc-mysql自定义反序列化器
package com.atguigu.app.func;import com.alibaba.fastjson.JSONObject;import com.alibaba.ververica.cdc.debezium.DebeziumDeserializationSchema;import io.debezium.data.Envelope;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.f原创 2021-12-02 11:40:16 · 1365 阅读 · 0 评论 -
flinkcdc,canal,maxwell对比
原创 2021-12-02 10:39:50 · 3575 阅读 · 0 评论 -
flink-cdc与其他数据同步产品对比
原创 2021-11-30 18:05:02 · 1010 阅读 · 0 评论 -
flink 使用savepoint
Flink通过Savepoint功能可以做到程序升级后,继续从升级前的那个点开始执行计算,保证数据不中断。 Flink中Checkpoint用于保存状态,是自动执行的,会过期,Savepoint是指向Checkpoint的指针,需要手动执行,并且不会过期。 据Flink路线图,后面Savepoint会和Checkpoint合并成一个,不像现在这样分成两个,而且一个自动、一个手动了。1.flink-conf.yaml中配置Savepoint存储位置不是必须设置,但是设置后,后面创建指定Job的Sa转载 2021-08-18 20:31:26 · 1152 阅读 · 0 评论 -
idea本地启动项目带webUI的flink执行环境
//创建一个带webui的env执行环境 便于开发 Configuration configuration = new Configuration(); configuration.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true); configuration.setInteger(RestOptions.PORT, 8989); StreamEx..原创 2021-08-17 14:06:51 · 327 阅读 · 0 评论 -
flink侧输出流复制流进行分流复用数据
import com.alibaba.fastjson.JSONObject;import org.apache.flink.api.java.utils.ParameterTool;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;import org.apache.flink.原创 2021-08-12 10:26:48 · 1616 阅读 · 0 评论 -
idea配置flink web ui
为了方便flink本地开发配置了 webui flink本地运行,访问webui方法: 添加依赖:flink-runtime-web 一定要添加这个依赖,否则访问页面是会报{“errors”:[“Not found.”]} <dependency>原创 2021-08-05 15:44:48 · 734 阅读 · 0 评论 -
flink 容错机制
Apache Flink提供了一种容错机制,可以持续恢复数据流应用程序的状态。该机制确保即使出现故障,程序的状态最终也会反映来自数据流的每条记录(只有一次)。从容错和消息处理的语义上(at least once, exactly once),Flink引入了state和checkpoint。state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Flink Job,在一个特定时刻的一份全局状态快照,即包含了所有task/operator的状态。Flink通过定期.转载 2021-07-30 16:38:52 · 255 阅读 · 0 评论 -
flink on yarn调优配置 slot、parallelsm、cpu
1、Flink参数配置jobmanger.rpc.address:jobmanger的地址jobmanger.rpc.port:jobmanger的端口jobmanager.heap.mb:jobmanager的堆内存大小。不建议配的太大,1-2G足够。taskmanager.heap.mb:taskmanager的堆内存大小。大小视任务量而定。需要存储任务的中间值,网络缓存,用户数据等。taskmanager.numberOfTaskSlots:slot数量。在yarn模.转载 2021-07-21 10:39:47 · 6011 阅读 · 0 评论 -
flink常见的八种分区方式
BroadcastPartitioner:广播分区器,将数据发往下游的所有节点CustomPartitionerWrapper:自定义分区器,可以自定义分区的规则ForwardPartitioner:转发分区器,将数据转发给在本地运行下游的operaterShufflePartitioner: 洗牌分区器,将数据在所有output chancel随机选择一个输出GlobalPartitioner:全局分区器:默认会选择索引为0的channel进行输出KeyGroupStreamPartition.原创 2021-07-06 11:26:32 · 1238 阅读 · 0 评论 -
scalac: Class org.apache.flink.api.common.state.CheckpointListener not found - continuing with a stu
flink消费kafka数据 报错org.apache.flinkflink-connector-kafka_2.111.12.0官方给的版本可能太新了。。自己换了个版本就没问题了org.apache.flinkflink-connector-kafka_2.111.9.1原创 2021-03-27 14:30:50 · 2638 阅读 · 0 评论