
Kafka
文章平均质量分 92
zero__007
这个作者很懒,什么都没留下…
展开
-
Kafka索引的二分查找算法
转载自:https://baijiahao.baidu.com/s?转载 2023-12-01 23:00:00 · 280 阅读 · 0 评论 -
kafka顺序消息
转载自:https://blog.csdn.net/wwd0501/article/details/93505901消息重试对顺序消息的影响对于一个有着先后顺序的消息A、B,正常情况下应该是A先发送完成后再发送B,但是在异常情况下,在A发送失败的情况下,B发送成功,而A由于重试机制在B发送完成之后重试发送成功了。这时对于本身顺序为AB的消息顺序变成了BA。消息producer发送逻辑的控制消息producer在发送消息的时候,对于同一个broker连接是存在多个未确认的消息在同时发送的,也就是存在转载 2020-05-26 12:08:08 · 223 阅读 · 0 评论 -
kafka如何保证消息的可靠性与一致性
转载自:https://blog.csdn.net/CSDN___LYY/article/details/85696326?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecas转载 2020-05-25 13:44:20 · 2199 阅读 · 0 评论 -
Kafka如何实现每秒上百万的高并发写入
Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢?一、页缓存技术 + 磁盘顺序写首先Kafka每次接收到数据都会往磁盘上去写,为了保证数据写入性能,Kafka是基于操作系统的页缓存来实现文件写入的。操作系统本身有一层缓存,叫做page...原创 2019-08-06 20:12:11 · 1711 阅读 · 0 评论 -
彻底删除kafka的topic方法
转载自:https://blog.csdn.net/lulongzhou_llz/article/details/78298035查看所有topic:kafka/bin/kafka-topics.sh --list --zookeeper zkServer 1、删除kafka存储目录(server.properties文件log.dirs配置,默认为/tmp/kafka-logs)相关t...转载 2018-06-07 22:37:25 · 1369 阅读 · 0 评论 -
Kafka无消息丢失配置
转载自:http://blog.csdn.net/wisgood/article/details/76066963 Kafka到底会不会丢数据(data loss)? 通常不会,但有些情况下的确有可能会发生。来从两个方面来探讨一下数据为什么会丢失。1. Producer端 目前比较新版本的Kafka正式替换了Scala版本的old producer,使用了由Java重写的producer。新版本转载 2017-12-18 18:45:39 · 330 阅读 · 0 评论 -
Kafka数据可靠性与一致性解析
转载自:http://blog.csdn.net/lizhitao/article/details/522961021.Partition Recovery机制 每个Partition会在磁盘记录一个RecoveryPoint,记录已经flush到磁盘的最大offset。当broker fail 重启时,会进行loadLogs。首先会读取该Partition的Recov转载 2017-08-04 17:56:20 · 539 阅读 · 0 评论 -
Kafka副本同步机制理解
转载自:http://blog.csdn.net/lizhitao/article/details/51718185 Apache Kafka特性之一是它的复制协议。对于单个集群中每个Broker不同工作负载情况下,如何自动调优Kafka副本的工作方式是比较有挑战的。它的挑战之一是要知道如何避免follower进入和退出同步副本列表(a set of in-sync repli转载 2017-08-04 17:42:49 · 1339 阅读 · 0 评论 -
Consumer与Consumer Group
转载自:http://www.58maisui.com/2016/11/15/884/1、Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中,逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅该message 所在的topic的每一个Consumer Group消转载 2017-06-06 20:49:24 · 1163 阅读 · 0 评论 -
如何选择合适的Topics、Partitions数量
转载自:http://blog.csdn.net/xiao_jun_0820/article/details/52573535越多的分区可以提供更高的吞吐量 首先需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一个分区写入数据是可以完全并行化的,此时,可以通过加大硬件资源的利用率来提升系统的吞转载 2017-01-11 16:13:45 · 745 阅读 · 0 评论 -
kafka存储机制
转载自:http://blog.csdn.net/lujinhong2/article/details/47421823 http://blog.csdn.net/jewes/article/details/42970799 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不转载 2017-01-11 16:10:03 · 4747 阅读 · 0 评论 -
kafka学习(二)--windows下安装配置
Kafka版本是kafka_2.10-0.8.2.1(本地zookeeper已正常启动,或则启动自带zookeeper,详见http://blog.csdn.net/shangboerds/article/details/39033677)单节点kafka配置1.修改配置文件conf\server.properties: 20行:broker.id=0; 28行原创 2015-08-26 18:08:00 · 4967 阅读 · 0 评论 -
kafka学习(一)
转载自:http://my.oschina.net/frankwu/blog/303745 http://www.aboutyun.com/thread-8919-1-1.html http://blog.csdn.net/lizhitao/article/details/237438211.简介 Kafka is a转载 2015-08-26 17:48:00 · 1298 阅读 · 0 评论 -
kafka学习(三)--java开发(基于kafka0.8版本)
转载自:http://blog.csdn.net/lizhitao/article/details/378112911.依赖jar包 2.producer程序producer参数说明#指定kafka节点列表,用于获取metadata,不必全部指定metadata.broker.list=192.168.2.105:9092,192.168.2.106:9092转载 2015-08-27 11:45:06 · 2918 阅读 · 0 评论 -
kafka学习(四)--java开发(基于kafka0.9、1.0版本)
kafka-clients jar包采用的是org.apache.kafka:kafka-clients:0.9.0.1。ProducerProperties props = new Properties();props.put("bootstrap.servers", "x.x.x.x:9091");props.put("key.serializer", "org.apache.原创 2016-04-05 21:06:36 · 10341 阅读 · 0 评论