![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 70
周幽王丶
善战者,无赫赫战功
展开
-
flink消费kafka protobuf格式数据
总结:其实跟正常的读kafka一样,只是多了一个反序列化的步骤。原创 2023-03-29 19:54:56 · 465 阅读 · 0 评论 -
flink side-output侧输出
相信大家在用flink或spark时都遇到过这样的情况:stream.filter(true/false),流中filter的数据,过滤掉和没过滤掉的数据都想要保存,然后第一次想到的方法大概都是是a=stream.filter(true), b=stream.filter(false),这样不优雅,还会对性能造成影响,flink就提供了这样一个解决方案,就是侧输出,可以在一次计算中将两种数据都保...原创 2020-03-15 19:41:30 · 643 阅读 · 2 评论 -
flink实时写入hdfs之StreamingFileSink
上篇文章中介绍过flink实时写入hdfs之BucketingSink,官网已经说明在BucketingSink已经因为弗林克1.9弃用,将在后续版本中被删除。请改用StreamingFileSink。原创 2020-01-30 18:26:12 · 4131 阅读 · 1 评论 -
flink实时写入hdfs之BucketingSink
flink实时读取kafka依赖代码合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入依赖<dependency>...原创 2020-01-18 16:30:29 · 2027 阅读 · 5 评论 -
flink入门文章
FLINK入门为什么用flink真正的实时处理支持exactly-once越来越火,就好比,越来越多人开小汽车,而你还在骑马flink是什么“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。”Flink不仅能提供同时支持高吞吐和exactly-once 语义的实时计算,还能提供批量数据处理,这让许多人感到吃惊。鱼与熊掌并非不可兼...原创 2019-11-23 16:16:48 · 244 阅读 · 1 评论 -
flink写入kafka之自定义分区器
直入正题,flink写入kafka根据某个数据中的字段做分区发送到kafka的指定分区,如果你在sink中每次要手动写producer,那么你可以略过此文章接着上篇文章flink写入kafka之默认序列化类和默认分区器直接上代码/*自定义分区*/@SuppressWarnings("unchecked")FlinkKafkaProducer010<String> fl...原创 2019-04-24 23:18:03 · 5897 阅读 · 0 评论