- 博客(5)
- 收藏
- 关注
原创 记录一次Flink ElasticsearchSink SocketTimeoutException异常问题排查
ElasticsearchSink SocketTimeoutException异常问题排查解决
2021-08-20 16:13:46
2484
1
原创 Flink 1.11.1 FlinkKafkaProducer写入topic0分区问题记录
Flink 1.11.1 FlinkKafkaProducer写入topic0分区问题记录问题记录:问题记录:flink版本:1.11.1使用FlinkKafkaProducer往下游发送数据,代码如下:Properties props = new Properties(); props.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"kafkatest:9092"); FlinkKafka
2021-07-06 12:38:18
597
原创 Flink单并行度消费kafka触发窗口计算问题
Flink单并行度消费kafka触发窗口计算问题基本信息验证:生产者发送消息:窗口统计代码(并行度设为1):最终窗口输出结果:调整并行度与topic一致基本信息flink版本1.11问题:flink上游数据源为kafka,topic有10个分区,在flink单并行度消费该topic进行窗口统计,job稳定运行统计数据差异不明显,如果job异常,进行重启,消费积压数据进行窗口统计,发现数据异常。排查:由于上游topic数据为埋点,时间格式比较乱,怀疑flink在单并行度消费多partition的kaf
2021-07-02 15:46:56
1095
原创 Flink(入门)实时数据upsert方式写入ES
Flink(入门)实时数据upsert方式写入ESMaven依赖Flink读取数据源和数据处理过程省略Flink upsert 方式写入ES软件版本ElasticSearch 7.10.1Flink 1.11Maven依赖
2021-05-19 15:21:04
1933
原创 IDEA添加类和方法注释
IDEA添加类和方法注释IDEA添加类注释IDEA为方法添加注释1.创建group2. 创建Live Templates3. 添加模板4. 配置模板参数IDEA添加类注释模板内容如下/** * @ Description:${description} * @ Author:XXX. * @ Date:Created in ${DATE} */IDEA为方法添加注释1.创建gro...
2020-03-17 14:55:05
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人