![](https://img-blog.csdnimg.cn/20190820194525555.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink相关
flink使用过程中经验记录
xuyingzhong
大数据hadoop flink storm相关开发,干一行爱
展开
-
Flink消费kafka数据消费一部分后就卡住了,原因排查
最近写flink消费kafka数据的时候,一直出现消费一部分数据成功后,后面的数据就不消费了,开始一直认为是kafka数据阻塞或者是数据单条过单导致的(之前用storm消费kafka出现过单条数据10M的情况),所以一直在怀疑是不是kafka的问题,我将所有代码注释掉只留消费kafka的代码,发现数据既然正常消费了,why?原因在我的代码中使用了异步IO (AsyncDataStream)...原创 2020-03-30 17:46:44 · 6511 阅读 · 3 评论 -
一、Flink 应用开发模块
一.:用开发模块应1、项目构建设置2、基础api概念3、Datastream api4、Dataset api(batch)5、Table Api& SQL6、数据类型以及序列化7、管理执行8、类库原创 2020-03-11 10:02:24 · 402 阅读 · 0 评论 -
flink学习路线模块分类
flink学习分为三个模块:一.:应用开发模块1、项目构建设置2、基础api概念3、Datastream api4、Dataset api(batch)5、Table Api& SQL6、数据类型以及序列化7、管理执行8、类库二: 部署运维模块1、集群与部署2、高可用(HA)3、状态与容错4、配置参数5、Memory configuration6、生成就绪...原创 2020-03-11 09:21:17 · 622 阅读 · 0 评论 -
flink分布式运行时环境、词汇表
Job Managers、Task Managers、客户端(Clients)jobmanagers(也称masters)协调分布式计算,负责调度任务、协调checkpoints、协调故障恢复等,每个job至少有一个jobmanager,高可用部署下会有多个jobmanager,其中一个为leader,其余为standby状态。TaskManagers(也称为 workers)执行 dataf...原创 2020-03-10 16:59:03 · 146 阅读 · 0 评论