Kafka
秋夜无霜
好学Java
展开
-
Apache Kafka 内核深度剖析
文章目录Kafka 为什么快消息队列的推拉模型OS Page Cache 和 Buffer Cache追加顺序写入Kafka 为什么稳限流机制竞选机制Kafka 该怎么用结尾目前来说市面上可以选择的消息队列非常多,像 activemq,rabbitmq,zeromq 已经被大多数人耳熟能详,特别像 activemq 早期应用在企业中的总线通信,基本作为企业级 IT 设施解决方案中不可或缺的一部分...转载 2020-02-26 09:37:21 · 252 阅读 · 0 评论 -
Kafka 数据可靠性深度解读
文章目录1 概述2 Kafka 体系架构2.1 Topic & Partition3 高可靠性存储分析3.1 Kafka 文件存储机制3.2 复制原理和同步方式3.3 ISR3.4 数据可靠性和持久性保证1. request.required.acks=12. request.required.acks=-13.5 关于 HW 的进一步探讨3.6 Leader 选举3.7 Kafka 的发...转载 2020-02-26 09:09:10 · 399 阅读 · 0 评论 -
Kafka保证消息不丢失不重复
文章目录简单总结:数据丢失情况:ack:总结:补充ISR:简单总结:消费端重复消费:建立去重表消费端丢失数据:关闭自动提交offset,处理完之后受到移位,enable.auto.commit=false 关闭自动提交位移生产端重复发送:消费端消费之前从去重表中判重生产端丢失数据:这个是最麻烦的情况解决策略:1.异步方式缓冲区满了,就阻塞在那,等着缓冲区可用,不能清空缓冲区2.发送...转载 2020-02-25 18:21:45 · 822 阅读 · 0 评论 -
Kafka【入门】就这一篇!
文章目录一、Kafka 简介Kafka 创建背景Kafka 简介Kafka 基础概念概念一:生产者与消费者概念二:主题(Topic)与分区(Partition)概念三:Broker 和集群(Cluster)概念四:多集群二、Kafka 的设计与实现讨论一:Kafka 存储在文件系统上讨论二:Kafka 中的底层存储设计讨论三:生产者设计概要讨论四:消费者设计概要消费者与消费组消费组与分区重平衡Pa...转载 2020-02-25 10:11:07 · 169 阅读 · 0 评论 -
Apache kafka原理与特性(0.8V)
文章目录一.入门1.1 简介Topics/logsDistributionProducersConsumersGuarantees1.2 Use casesMessagingWebsit activity trackingLog Aggregation二. 设计原理1.Persistence2.Efficiency3. ProducerLoad balancingAsynchronous send...转载 2020-02-24 20:58:27 · 166 阅读 · 0 评论 -
Kafka集群部署
前提在启动kafaka集群,调用 bin/kafka-server-start.sh config/server.properties & 前,需要把每台机器上zookeeper服务都给启动了。zookeeper的安装配置看,https://blog.csdn.net/With__Sunshine/article/details/885388881 kafka集群规划s101 ...转载 2020-02-24 16:29:39 · 148 阅读 · 0 评论 -
Kafka 之 入门
文章目录一、入门1. 简介2. 概念Topics/logsDistributionProducersConsumersGuarantees3. 适用场景1、Messaging2、Websit activity tracking3、Metrics4、Log Aggregation4. 命令1. 启动Server2. 创建Topic3. 查看命令4. 发送消息5. 消费消息...转载 2020-02-24 16:23:19 · 172 阅读 · 0 评论 -
kafka常用操作命令
1.启动Kafka,其中">>/dev/null"表示将日志信息输出到"黑洞",其中"2>&1"表示将错误信息和前面的日志信息一样,也输出到"黑洞",末尾的"&"表示以后台方式启动kafka:bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &...转载 2020-02-24 12:45:30 · 127 阅读 · 0 评论 -
Kafka的配置文件详细描述
文章目录1.producer.properties:生产端的配置文件2.consumer.properties:消费端的配置文件3.server.properties:服务端的配置文件在kafka/config/目录下面有3个配置文件:producer.propertiesconsumer.propertiesserver.properties1.producer.propertie...转载 2020-02-24 11:01:37 · 245 阅读 · 0 评论 -
Kafka性能调优分析-线上环境篇
文章目录一、背景介绍二、通用介绍1、内存缓冲的大小:buffer.memory2、多少数据打包为一个Batch合适:batch.size3、要是一个Batch迟迟无法凑满怎么办:linger.ms4、最大请求大小 :“max.request.size”5、重试机制:“retries”和“retries.backoff.ms”6、确认机制:acks7、min.insync.replicas:三、优化...转载 2020-02-23 11:12:29 · 218 阅读 · 0 评论 -
kafka的offset相关知识
文章目录1、Offset存储模型2、Offset查询3、Offset管理方式1、Offset存储模型由于一个partition只能固定的交给一个消费者组中的一个消费者消费,因此Kafka保存offset时并不直接为每个消费者保存,而是以 groupid-topic-partition -> offset 的方式保存。如图所示:Kafka在保存Offset的时候,实际上是将Consu...转载 2020-02-23 10:58:24 · 822 阅读 · 0 评论 -
kafka中partition和消费者对应关系
文章目录1、消费者多于partition2、消费者少于和等于partition3、多个消费者组1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果1、消费者多于partitiontopic: test 只有一个partition创建一个topic——test,bin/kafka-topics.sh --create --zookeeper ...转载 2020-02-23 10:52:56 · 250 阅读 · 0 评论 -
Kafka如何保证百万级写入速度以及保证不丢失不重复消费
文章目录一、如何保证百万级写入速度:1、页缓存技术 + 磁盘顺序写2、零拷贝技术3、最后的总结二、Kafka如何做到不丢失不重复消费1、Produce端消息传递2、Consumer端消息传递3、精确一次一、如何保证百万级写入速度:这篇文章来聊一下Kafka的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛...转载 2020-02-23 10:28:50 · 498 阅读 · 0 评论