Flink
文章平均质量分 68
Flink
李奇峰1998
吾生也有涯,而知也无涯
展开
-
【源码解读】Flink-Kafka连接器自定义序列器和分区器
通过阅读源码得知,目前Flink官方不推荐通过分区器来进行数据的分区操作,可以通过序列化器实现。同时KeyedSerializationSchema分区器已经不推荐使用,推荐使用KafkaSerializationSchema原创 2021-01-19 23:15:30 · 3104 阅读 · 4 评论 -
Flink与Kafka版本对应关系
这边建议各位在使用Flink中Kafka连接器的时候,去Maven仓库中查看一下依赖,选用匹配的Flink与Kafka版本,避免出现异常。原创 2021-01-13 13:40:26 · 8092 阅读 · 0 评论 -
Flink、Spark、Storm技术对比列表
ApacheFlinkSpark StreamingStorm架构架构介于Spark和Storm之间,主从结构与SparkStreaming相似,DataFlow Grpah与Storm相似架构依赖Spark,每个Batch处理都依赖主(Driver),可以理解为时间维度上的spark DAG。主从模式,且以来Zookeeper,处理过程中对主节点依赖不大。处理模式NativeMicro-batchNative容错基于CheckPoint机制WAL及RDD...原创 2021-01-03 23:10:43 · 840 阅读 · 0 评论