【大数据技术干货】在kafka集群中，帮你更好的掌握productor产生数据，consumer消费数据的时候，都需要从哪些层面来考虑和优化产生消费数据的过程。

一在Kafka中无论是producer往topic中写数据,还是consumer从topic中读数据,都避免不了和offset打交道,关于offset主要有以下几个概念：

①

Last Committed Offset：consumer group最新一次 commit 的 offset，表示这个 group 已经把 Last Committed Offset 之前的数据都消费成功了。

②

Current Position：consumer group 当前消费数据的 offset，也就是说，Last Committed Offset 到 Current Position 之间的数据已经拉取成功，可能正在处理，但是还未 commit。

③

Log End Offset(LEO)：记录底层日志(log)中的下一条消息的 offset。,对producer来说，就是即将插入下一条消息的offset。

④

High Watermark(HW)：已经成功备份到其他 replicas 中的最新一条数据的 offset，也就是说 Log End Offset 与 High Watermark 之间的数据已经写入到该 partition 的 leader 中，但是还未完全