kafka
文章平均质量分 83
Mr_慕白
此用户不懒
展开
-
容器环境下IP跨网闸映射kafka部署
一、 listeners 和 advertised.listeners在公司内网部署 kafka 集群只需要用到 listeners,内外网需要作区分时才需要用到advertised.listeners。listeners: 学名叫监听器,其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务。我们要监听的uri的逗号分隔列表和监听器名称。指定hostname为0.0.0.0绑定所有接口。hostname为空以绑定到默认接口(JVM拿到的本机的hostname,java.ne原创 2021-04-06 15:10:02 · 1590 阅读 · 0 评论 -
kafka集群安装部署
下载地址http://kafka.apache.org/downloads.htmlKafka集群部署1)解压安装包[root@server102 soft]# tar -zxvf kafka_2.11-0.11.0.0.tgz -C /home/soft/2)修改解压后的文件名称[root@server102 soft]# mv kafka_2.11-0.11.0.0/ kafk...原创 2019-12-19 13:52:35 · 130 阅读 · 0 评论 -
Kafka拦截器
拦截器原理Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor按序作用于同一条消息从而形...原创 2019-12-22 19:17:47 · 249 阅读 · 0 评论 -
浅谈Kafka选举机制
Kafka是一个高性能,高容错,多副本,可复制的分布式消息系统。在整个系统中,涉及到多处选举机制,被不少人搞混,这里总结一下,本篇文章大概会从三个方面来讲解。1、控制器(Broker)选主2、分区多副本选主3、消费组选主控制器(Broker)选举所谓控制器就是一个Borker,在一个kafka集群中,有多个broker节点,但是它们之间需要选举出一个leader,其他的broker充当f...转载 2019-12-21 17:20:59 · 243 阅读 · 0 评论 -
Kafka事务
Kafka 从 0.11 版本开始引入了事务支持。事务可以保证 Kafka 在 Exactly Once 语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败。Producer 事务为了实现跨分区跨会话的事务,需要引入一个全局唯一的TransactionID,并将 Producer获得的PID 和Transaction ID 绑定。这样当Producer 重启后就可以通过正在进...原创 2019-12-19 22:07:44 · 177 阅读 · 0 评论 -
Zookeeper在 Kafka 中的作用
Kafka 集群中有一个 broker 会被选举为 Controller,负责管理集群 broker 的上下线,所有 topic 的分区副本分配和 leader 选举等工作。Controller 的管理工作都是依赖于 Zookeeper 的。以下为 partition 的 leader 选举过程:...原创 2019-12-19 21:42:36 · 250 阅读 · 0 评论 -
Kafka高效读写数据
顺序写磁盘Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到600M/s,而随机写只有 100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。零复制技术...原创 2019-12-19 21:39:23 · 502 阅读 · 0 评论 -
Kafka消费者
1 消费方式consumer 采用 pull(拉)模式从 broker 中读取数据。push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。pull 模...原创 2019-12-19 19:38:21 · 271 阅读 · 0 评论 -
Kafka生产者
分区策略分区的原因(1) 方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了;(2) 可以提高并发,因为可以以 Partition 为单位读写了。分区的原则我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。(1) 指明 par...原创 2019-12-19 17:25:37 · 129 阅读 · 0 评论 -
Kafka工作流程及文件存储机制
Kafka工作流程图解topicKafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。partitiontopic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。offsetProducer 生产的数据会被不断追加...原创 2019-12-19 16:10:00 · 109 阅读 · 0 评论 -
Kafka命令行操作
查看当前服务器中的所有topic[root@server102 kafka]# bin/kafka-topics.sh --zookeeper server102 :2181 --list创建topic[root@server102 kafka]# bin/kafka-topics.sh --zookeeper server102 :2181 --create --replication-...原创 2019-12-19 15:22:26 · 84 阅读 · 0 评论 -
Kafka概述
Kafka概述定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。消息队列(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消...原创 2019-12-19 13:16:49 · 204 阅读 · 0 评论