kafka
taoy86
这个作者很懒,什么都没留下…
展开
-
Broker服务端核心参数解析
二、broker端核心参数1. broker.id参数说明:broker的唯一标识id,默认值为-1,如果不指定Kafka会自动生成一个id。生产环境推荐设置从0开始,按1递增的数字,比如0,1,2,3...等。2. log.dirs参数说明:设置Kafka持久化消息的数据目录,如果不设置Kafka会将消息持久化到/tmp/kafka-logs,通常都需要我们手动设置。多个目录逗号分隔,也就是一个csv列表。调优建议:这是必须要上线前规划好的,建议设置成挂载不同磁盘的多个数据目录。创建t转载 2020-08-30 16:49:10 · 1177 阅读 · 0 评论 -
如何快速全面掌握Kafka
因为涉及内容较多,本文尽量做到深入浅出,全面的介绍 Kafka 原理及核心组件。1. Kafka 快速入门Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。1.1 Kafka 体系架构Kafka 的设计遵循生产者消费者模式,生产者发送消息到 broker 中某一个 topic 的具体分区里,消费者从一个或多个分区中拉取数转载 2020-08-30 10:49:30 · 108 阅读 · 0 评论 -
Kafka详细原理总结
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写1.前言消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从K.转载 2020-08-29 14:23:13 · 637 阅读 · 0 评论 -
Producer消息发送机制
本文我们重点讨论Producer端的消息发送机制,希望通过本文我们能整体掌握Producer端的原理。1、Producer架构总的来说,Kafka生产端发送数据过程涉及到序列化器Serializer、分区器Partitioner,消息缓存池Accumulator,还可能会涉及到拦截器Interceptor(这部分暂不做介绍)。由于篇幅有限这里尽量做到言简意赅。2、客户端与数据结构2.1 新旧ProducerKafka 0.8.2引入了新版本Producer客户端,并自0.9.0版本开转载 2020-08-26 17:10:51 · 347 阅读 · 0 评论 -
Kafka是靠什么机制保持高可靠,高可用的?
面试大厂时,一旦简历上写了 Kafka,几乎必然会被问到一个问题:说说 Acks 参数对消息持久化的影响?这个 Acks 参数在 Kafka 的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对 Kafka 的 Acks 参数的分析,以及背后的原理。如何保证宕机的时候数据不丢失?如果想理解这个 Acks 参数的含义,...转载 2019-05-08 22:04:09 · 486 阅读 · 0 评论 -
kafka:sync、async以及oneway 几种发送消息模式
kafka有同步(sync)、异步(async)以及oneway这三种发送方式,某些概念上区分也可以分为同步和异步两种,同步和异步的发送方式通过“producer.type”参数指定,而oneway由“request.require.acks”参数指定。1. sync vs async在官方文档Producer Configs中有如下:Property Default De...转载 2018-11-20 13:26:45 · 1150 阅读 · 0 评论 -
kafka 分区 leader 选举机制原理
kafka在所有broker中选出一个controller,所有Partition的Leader选举都由controller决定。controller会将Leader的改变直接通过RPC的方式(比Zookeeper Queue的方式更高效)通知需为此作出响应的Broker。同时controller也负责增删Topic以及Replica的重新分配。当有broker fari over , con...转载 2018-11-22 11:29:43 · 955 阅读 · 1 评论 -
Kafka中关于 消息的“顺序消费”讨论
在说到消息中间件的时候,我们通常都会谈到一个特性:消息的顺序消费问题。这个问题看起来很简单:Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是:无论RocketMQ,还是Kafka,缺省都不保证消息的严格有序消费!这个特性看起来很简单,但为什么缺省他们都不保证呢? “严格的顺序消费”有多么困难下面就从3个方面来分析一下,...转载 2018-11-22 01:20:02 · 582 阅读 · 0 评论 -
kafka 消息服务
apache kafka参考http://kafka.apache.org/documentation.html消息队列方式:点对点:消息生产者生产消息发送到queue中,然后消息消费者从queue中取出并且消费消息。这里要注意:消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。发布/订阅...转载 2018-05-11 20:28:22 · 1001 阅读 · 0 评论 -
Kafka:(Consumer配置)
PropertyDefaultDescriptiongroup.id 用来唯一标识consumer进程所在组的字符串,如果设置同样的group id,表示这些processes都是属于同一个consumer groupzookeeper.connect 指定zookeeper的连接的字符串,格式是hostname:port,此处host和port都是zookeeper server的host和po...转载 2018-05-11 14:17:18 · 815 阅读 · 0 评论 -
Kafka:Producer Config 配置
Producer Configs 配置属性描述类型默认值bootstrap.servers用于建立与kafka集群的连接,这个list仅仅影响用于初始化的hosts,来发现全部的servers。格式:host1:port1,host2:port2,…,数量尽量不止一个,以防其中一个down了list acksServer完成 producer request 前需要确认的数量。acks=0时,pr...转载 2018-05-11 14:03:03 · 1329 阅读 · 0 评论 -
kafka顺序消息
原文链接:http://www.lpnote.com/2017/01/17/sequence-message-in-kafka/顺序消息包括以下两方面:全局顺序局部顺序全局顺序全局顺序就目前的应用范围来讲,可以列举出来的也就限于binlog日志传输,如mysql binlog日志传输要求全局的顺序,不能有任何的乱序。这种的解决办法通常是最为保守的方式:全局使用一个生产者全局使用一个消费者(并严格到...转载 2018-05-10 20:26:04 · 2947 阅读 · 0 评论 -
kafka常用命令
创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注: partitions指定topic分区数,replication-factor指定topic每个分区的副本数partitions分区数:partitions...转载 2018-05-10 14:56:54 · 144 阅读 · 0 评论