![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka
文章平均质量分 74
kafka的基本概念、架构设计、API使用
zf18234031156
Keep Calm and Carry On
展开
-
kafka数据同步(高水位&Leader Epoch)
相关名词LEO:每个分区中最后一条消息的下一个位置(offset),分区的每个副本都有自己的LEOHW(high watermarker:高水位线):核心思想为所有HW之前的数据都是已经备份的,当所有节点都备份成功,Leader会更新HW。ISR(in-sync-replicas):正在同步的副本集合,一个时间范围,例如10s内,改时间范围通过replica.lag.time.max.ms控制副本没有发送fetch(同步数据)的请求发送了请求但是在该时间范围内没有赶上Leader的数原创 2022-01-19 17:59:27 · 1947 阅读 · 0 评论 -
安装kafka集群
安装jdk最低为jdk1.8contos7配置主机名和ip映射https://blog.csdn.net/xuheng8600/article/details/79983927查看主机名:hostnamectlhostnamectl statushostnamectl --static //静态hostnamectl --transient //瞬态hostnamectl --pretty //灵活设置主机名:永久性的修改主机名称,重启后能保持修改后的hostna.原创 2022-01-14 18:38:15 · 823 阅读 · 0 评论 -
Topic管理-基础API使用-高级API使用
文章目录Topic管理(shell)新增Topic查看Topic查看Toptic详细信息修改topic删除topic订阅topic发布消息到topic查看消费者组列表及组详细信息基础API使用topic增删改查生产者-发送消息消费者-消费者组(subscribe)消费者(assign)生产者自定义消息发送到某个分区自定义序列化自定义反序列化消息发送拦截器高级API使用消费者offset自动控制消费者offset自动提交/手动提交生产者ACKS&Retries生产者幂等性(解决写重复)生产者事务To原创 2022-01-14 18:23:53 · 1365 阅读 · 0 评论