![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 75
pierre94
just think!
展开
-
【Flink笔记】kafka-connector消费protobuf格式数据
文章目录一、基础概念1、protobuf简介优缺点安装protobuf2、kafka-connector二、实际案例1、背景介绍2、protoc生成java代码3、构建`Deserializer`类4、注册`registerTypeWithKryoSerializer`5、`FlinkKafkaConsumer`启动消费三、问题排查1、protobuf版本问题四、附录1、maven配置一、基础概念1、protobuf简介Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据原创 2021-01-07 20:02:54 · 2430 阅读 · 2 评论 -
【小笔记】Flink使用Skywalking进行消息追踪
Flink使用Skywalking进行消息追踪文章目录Flink使用Skywalking进行消息追踪背景Skywalking基础配置Flink任务提交分析实战与效果使用规范已知问题背景一条mq,什么业务团队生产的,哪个机器生产的,哪些业务团队消费了,哪个机器消费的,分别耗时多少。绘制类似上述这么一条路径,以让平台使用者对消息的来龙去脉一目了然。Skywalking基础配置skywalking agent环境变量覆盖参数配置: https://github.com/apache/skywalki原创 2020-11-18 20:43:55 · 1700 阅读 · 1 评论 -
【Flink】使用kafka-connector消费数据时看不到consumer-id等信息
文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结问题复现使用connecor消费数据的时候,我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常而使用kafka-client的时候,这些信息是能正常显示的初步结论https://issues.apache.org/jira/brows...原创 2020-04-10 21:16:24 · 7396 阅读 · 7 评论 -
【Flink】官方文档翻译:DataStream API Tutorial
原文链接: https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/datastream_api.html#top文章目录Setting up a Maven ProjectWriting a Flink ProgramBonus Exercise: Running on a Cluster and Writ...原创 2019-01-25 01:10:59 · 273 阅读 · 0 评论 -
【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId
文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148最近准备再花点时间优化一下之前的FlinkX版本,特地去看了一下项目的issues区域,发现两个自己比较关注的issue。issue详情reader和writer的通道数不一致异构数据源reader和writer设置不同的Parallelism数#...原创 2020-03-19 20:49:54 · 636 阅读 · 0 评论 -
【Flink】双流处理:实时对账实现
这里写自定义目录标题一、基础概念二、双流处理的方法ConnectUnionJoin三、实战:实时对账实现需求描述需求分析代码实现相关阅读更多内容详见:https://github.com/pierre94/flink-notes一、基础概念主要是两种处理模式:Connect/JoinUnion二、双流处理的方法ConnectDataStream,DataStream → Con...原创 2020-03-10 16:06:00 · 2735 阅读 · 0 评论 -
【Flink】状态编程: 订单超时告警
文章目录一、基础概念二、Flink状态编程1、支持的状态类型2、Managed Keyed State六种类型基本API状态的生命周期3、Managed Operator State三、案例:订单延迟告警统计1、需求描述2、需求分析3、数据与模型4、详细实现一、基础概念在Flink架构体系中,有状态计算可以说是Flink非常重要的特性之一。有状态计算是指:在程序计算过程中,在Flink...原创 2020-03-04 10:39:59 · 2588 阅读 · 1 评论 -
【Flink】学习笔记-20200302更新
flink-notesflink的一些学习笔记,将在github上持续更新https://github.com/pierre94/flink-notes一、技术博客索引Flink中文官方文档综合类,中文,不全Flink官方博客读文档永远是学习的首选方向Flink中文社区ververicaFlink中文社区,大量学习资料和视频JarkWu的博客...原创 2020-01-13 19:39:09 · 466 阅读 · 0 评论