![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 80
福尔摩斯之无以伦比
这个作者很懒,什么都没留下…
展开
-
flink MapState 更新存储对象问题
在使用flink中的状态管理器时,由于需求背景我选用了MapState存储结构,但是在使用过程中发现修改存储对象的时候并没有MapState中的值并没有自动更新,这让我产生了很大的疑惑,看官方文档和flink源码中我都一直把MapState认为是类似于Map结构的,那自然认为修改里面的存储对象时整个map会自动更新,但是实际使用和测试下来确发现不是这样。先贴一段官方文档:MapState<UK, UV>: This keeps a list of mappings. You can pu转载 2021-02-24 10:49:37 · 989 阅读 · 0 评论 -
Flink 整合 Kafka (实现 Exactly-Once)
1.什么是Exactly-Once恰好处理一次的意思。不管在处理的时候是否有异常发生,计算的结果都一样。即使在发现机器或者软件故障时,都不会出现数据丢失以及重复处理的情况。(就是每条数据只会被处理一次)Flink 中哪些Source、Sink支持 Exactly-Once 呢,Flink官方文档(链接)为我们做了描述。如下图所示:Source:Sink:我们发现很多都是at least once(至少一次),我们可以基于幂等操作(幂等操作的特点是...转载 2021-01-07 11:04:02 · 1357 阅读 · 4 评论 -
Flink系列:自定义map Function
转载 2020-12-27 14:23:43 · 906 阅读 · 0 评论 -
flink深入研究(08) flink的StreamExecutionEnvironment.execute()函数调用过程02
上一篇我们讲到了ClosureCleaner的clean函数,这一篇我们继续往下分析,在clean函数中又调用了另外一个clean函数clean(func, level, checkSerializable, Collections.newSetFromMap(new IdentityHashMap<>()));代码如下: private static void clean(Object func, ExecutionConfig.ClosureCleanerLevel l...转载 2020-12-27 14:22:36 · 735 阅读 · 0 评论 -
NoSuchMethodError 发生原因和解决办法
当应用程序试图调用类(静态或实例)的指定方法,而该类已不再具有该方法的定义时,就会抛出 java.lang.NoSuchMethodError 错误。简单地说,就是同一个 Class 有多个版本的实现,并且在运行时调用了缺少方法的那个版本。本文总结了 NoSuchMethodError 常见原因及其解决方法,如有遗漏或错误,欢迎补充指正。运行时抛出 NoSuchMethodError 的根本原因是什么?在实际生产系统中,我们主要关注运行时抛出的 NoSuchMethodError 错误,..转载 2020-12-17 16:54:38 · 973 阅读 · 0 评论 -
幂等的实现方案
背景在软件系统的开发过程中,我们可能有如下需求:创建业务订单,一次业务请求只能创建一个; 单个订单请求调用支付接口,当遇到网络或系统故障请求重发,也应该只支付一次; 单个订单完成时,给用户发送消息应该只发一次;等等很多情况下,都需要幂等的特性来支持。幂等的概念幂等(idempotence)一词原为数学上的概念,用一个最直观的数学式子表达为:f(f(x)) = f(x)对应到软件开发领域,即为同样的请求被执行一次与连续执行多次的效果是一样的,服务器的状态也是一样的,实际上就是接口转载 2020-12-15 20:15:48 · 314 阅读 · 0 评论 -
flink 的NoSuchFieldError: HALT_ON_FATAL_ERROR异常解决方法
启动flink,通过yarn管理集群,报以下错误:org.apache.flink.runtime.entrypoint.ClusterEntrypointException: Failed to initialize the cluster entrypoint YarnJobClusterEntrypoint. at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.startCluster(ClusterEntrypoint...原创 2020-12-03 20:24:00 · 1069 阅读 · 0 评论 -
Flink Connection拒绝:localhost / 127.0.0.1:8081
提交flink 任务报错Exception: Connection refused: localhost/127.0.0.1:8081 at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) at java.util.concurrent.CompletableFuture.completeThrowable(CompletableFuture.java:308) ...原创 2020-10-15 15:07:05 · 8651 阅读 · 2 评论 -
flink 在本地启动 报错ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException解决方法
ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException解决方法,用meven将flink的项目打成运行的包用依赖的包就解决原创 2020-09-08 14:16:46 · 2019 阅读 · 0 评论 -
MySQL数据 实时同步到Kafka --Binlog canal、Maxwell、Kafka Connect 实现MySQL增量同步
一、需求分析早期业务借助Sqoop将Mysql中的数据同步到Hive、hdfs来进行数据分析,使用过程中也带来了一些问题:虽然Sqoop支持增量同步但还属于粗粒度的离线同步,无法满足下游数仓实时性的需求(可能一个小时,或者一天) 每次同步Sqoop以sql的方式向Mysql发出数据请求也在一定程度上对Mysql带来一定的压力 同时Hive对数据更新的支持也相对较弱,由于Hive本身的语法不支持更新、删除等SQL原语,对于MySQL中发生Update/Delete的数据无法很好地进行支持现在的.转载 2020-09-07 09:52:07 · 946 阅读 · 1 评论