Flink 入门
文章平均质量分 70
HugeBitter
这个作者很懒,什么都没留下…
展开
-
记录一次Flink ElasticsearchSink SocketTimeoutException异常问题排查
ElasticsearchSink SocketTimeoutException异常问题排查解决原创 2021-08-20 16:13:46 · 2332 阅读 · 1 评论 -
Flink 1.11.1 FlinkKafkaProducer写入topic0分区问题记录
Flink 1.11.1 FlinkKafkaProducer写入topic0分区问题记录问题记录:问题记录:flink版本:1.11.1使用FlinkKafkaProducer往下游发送数据,代码如下:Properties props = new Properties(); props.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"kafkatest:9092"); FlinkKafka原创 2021-07-06 12:38:18 · 547 阅读 · 0 评论 -
Flink单并行度消费kafka触发窗口计算问题
Flink单并行度消费kafka触发窗口计算问题基本信息验证:生产者发送消息:窗口统计代码(并行度设为1):最终窗口输出结果:调整并行度与topic一致基本信息flink版本1.11问题:flink上游数据源为kafka,topic有10个分区,在flink单并行度消费该topic进行窗口统计,job稳定运行统计数据差异不明显,如果job异常,进行重启,消费积压数据进行窗口统计,发现数据异常。排查:由于上游topic数据为埋点,时间格式比较乱,怀疑flink在单并行度消费多partition的kaf原创 2021-07-02 15:46:56 · 1045 阅读 · 0 评论 -
Flink(入门)实时数据upsert方式写入ES
Flink(入门)实时数据upsert方式写入ESMaven依赖Flink读取数据源和数据处理过程省略Flink upsert 方式写入ES软件版本ElasticSearch 7.10.1Flink 1.11Maven依赖原创 2021-05-19 15:21:04 · 1860 阅读 · 0 评论