kafka
文章平均质量分 82
巴黎↓一整天氵
这个作者很懒,什么都没留下…
展开
-
kafka如何保证数据不丢失?
kafka如何保证数据不丢失?Producer端的处理Consumer端的处理:如果master副本挂了,其他follower副本都是非同步副本,那么在开启unclean.leader.election=true的情况下,非同步副本被选举为master副本,那必然会丢数据。Producer端的处理设置参数ACKSrequest,timeout.ms:如果网络异常收不到响应,则等待,这里有个配置等待时间 request.timeout.ms:发送消息等待时间。metadata.fetch.time.翻译 2020-08-13 17:43:07 · 293 阅读 · 0 评论 -
kafka 代码、配置
代码、配置代码示例配置分析发送端配置消费端配置代码示例KafkaProducerDemo.classpublic class KafkaProducerDemo extends Thread{ private final KafkaProducer<Integer,String> producer; private final String topic; private final boolean isAysnc; public KafkaProducer翻译 2020-08-13 17:41:47 · 340 阅读 · 0 评论 -
kafka 零拷贝
零拷贝零拷贝一次交互的步骤零拷贝的优势零拷贝消费者从kafka服务器获取消息时,服务器先从磁盘读取数据到内存,再将内存的数据通过socket发送给消费者。看似简单的操作实际上有很多步骤。一次交互的步骤▪ 操作系统将数据从磁盘读入到内核空间的页缓存。▪ 应用程序将数据从内核空间读入到用户空间缓存中。▪ 应用程序将数据写回到内核空间到 socket 缓存中。▪ 操作系统将数据从 socket 缓冲区复制到网卡缓冲区,以便将数据经网络发出。整个过程4次上下文切换及4次数据复制,其中CPU复制了两翻译 2020-08-13 17:40:22 · 195 阅读 · 0 评论 -
kafka offset
offsetoffset 偏移量offset存储在哪里?consumer_offsets不同groupid用哪个consumer_offsets_ 呢?LogSegment (分段)Log文件内容分析日志清除/压缩日志清理策略日志压缩策略offset 偏移量offset存储在哪里?consumer_offsetskafka默认提供了50个consumer_offsets_*的topic,用于存放consumer group 某一时刻提交的offset信息。不同groupid用哪个consumer_翻译 2020-08-13 17:39:30 · 369 阅读 · 0 评论 -
kafka Rebalance
这里写Rebalance标题Rebalance(均衡)Rebalance的过程JoinSyncRebalance(均衡)将partition均分给每个consumer的过程就叫Rebalance。本质上是一组协议,分配策略为的就是rebalance。Rebalance的过程Join consumer向coordinator发送joinGroup请求,coordinator会从consumer中选择一个担任leader角色。并把组成员信息、订阅信息发送给leader。Sync leader翻译 2020-08-13 17:38:17 · 153 阅读 · 0 评论 -
kafka Coordinator
CoordinatorCoordinatorCoordinator如何定义?如何确定consumer group的coidinator是哪个borker?Coordinator一个broker节点,负责管理consumer group。Coordinator如何定义?组内第一个consumer启动后,consumer向kafka集群任意一borker发送一个GroupCoordinatorRequest请求,服务端会返回负载最小的broker节点id,并将此节点定义为coordinator。之后该组翻译 2020-08-13 17:37:17 · 381 阅读 · 0 评论 -
kafka Partition
PartitionPartition(分区)partition分布单节点集群消息如何写入partition?从Partition消费消息Consumer指定Partition消息分配策略消息分配策略的触发条件Partition(分区)partition是一块保存具体数据的空间,本质是磁盘上存放数据的文件夹, 所以partition不能跨Broker,也不能在同一个Broker上跨磁盘。partition中的每个消息会被分配一个offset(偏移量),它是消息在此partition的唯一编号。 o翻译 2020-08-13 17:35:13 · 1453 阅读 · 0 评论 -
kafka副本
kafka副本副本机制(Replication)副本角色如何判断follower副本是不是同步副本?副本因子(replication-factor)副本分配策略多个副本如何分配到不同的broker上?如何知道leader副本在哪个borker上?副本数据同步副本同步机制副本属性LEOHW副本(replica)都宕机了怎么办?副本机制(Replication)对于单个partition而言,在集群中是单点的。一旦该partition不可用,那么partition中的消息就消费不了了,所以kafka通过副本翻译 2020-08-13 17:33:16 · 670 阅读 · 0 评论 -
GP -- kafka
kafka概念架构组成ProducerBrokerConsumerZookeeper代码示例KafkaProducerDemo.classKafkaConsumerDemo.class配置分析发送端配置acksbatch.sizelinger.mscompression.type (Producer压缩器)max.request.size (请求数据的最大字节数)buffer.memory (producer 缓冲区大小)retries(失败后重试次数)消费端配置Consumer.poll(1000)bo翻译 2020-07-14 19:54:36 · 841 阅读 · 0 评论