![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
wppwpp1
这个作者很懒,什么都没留下…
展开
-
flink1.11.0内存模型总结
1、Flink TaskManager启动日志INFO [] - Loading configuration property: taskmanager.memory.process.size, 2048mINFO [] - Loading configuration property: taskmanager.memory.managed.fraction, 0.3INFO [] - Loading configuration property: taskmanager.memory.jv原创 2021-11-22 16:54:53 · 593 阅读 · 0 评论 -
flink 源码编译注意事项
1、Flink打包的时候,请务必从tag中拉取精确版本,而非从branch拉取。tag中标明了release-1.11.1 / release-1.11.2 / release-1.11.3,但是branch中只有release-1.11,且release-1.11这个分支一直在不断更新。如果你的flink jar包任务中依赖flink 1.11.3,而你使用从branchrelease-1.11拉取并打包的客户端去提交任务,则很有可能会造成版本冲突等一系列奇怪的问题2、如果是测试包,可以删.原创 2021-11-12 10:56:33 · 119 阅读 · 1 评论 -
flinksql 读取kafka的key的字段,相关解析
1、因官网读取kafka的key结构文档说明比较复杂,研究半天才搞懂,特此进行记录-- 创建数据源表CREATE TEMPORARY TABLE `source_kafka` ( `time` varchar, `distinct_id` varchar, `msgkey` varchar) with ( 'connector' = 'kafka', 'topic' = 'hulin_sink_test', 'properties.bootstrap.servers' =原创 2021-04-12 18:42:11 · 2671 阅读 · 7 评论 -
kafka 监控 bytes in出现异常的问题
1、因业务需要,把写入kafka的每个批次从5000条调整到30000条,重启任务后发现 Bytes in的流量监控降低了一倍以上,于是赶紧监控 messages in的条数2、于是赶紧监控 messages in的条数如下,发现没有异常3、根据问题总结,实际业务的Tps在3.8w左右,而自己设置的批次是5000条,导致分多个批次提交,而每个批次提交会附带一些头信息,从而导致 bytes in 实际监控是偏大的,所以真正业务的提交批次按照kakfa的实际来更好...原创 2021-04-08 16:33:29 · 548 阅读 · 0 评论 -
SpringBoot消费报 groupId Auto-commit of offsets failed
1,错误日志信息如下:[WARN][2020-08-27 01:22:03 112][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator]-[Auto-commit of offsets {prod_data_sync_trip-0=OffsetAndMetadata{offset=575608778, metadata=''}} failed for group gtdata_sync_ck_prod_data_sync_t原创 2020-08-27 17:23:22 · 933 阅读 · 0 评论