kafka依赖_Kafka集群搭建及必知必会

最新推荐文章于 2020-12-04 15:58:38 发布
最新推荐文章于 2020-12-04 15:58:38 发布
阅读量504 收藏 1
点赞数
文章标签： kafka依赖
本文详述了Kafka集群的搭建过程，包括Zookeeper的安装和Kafka节点的配置。讨论了Kafka的副本集概念，副本因子的设定及其分配算法。还介绍了Kafka节点故障的处理方式以及Leader选举机制，强调了在故障情况下数据可靠性和可用性的权衡。
摘要由CSDN通过智能技术生成

d284fb85e33f5a2fe147be5d63dae6eb.gif

Kafka集群部署并启动

在本文中将从演示如何搭建一个Kafka集群开始，然后简要介绍一下关于Kafka集群的一些基础知识点。但本文仅针对集群做介绍，对于Kafka的基本概念不做过多说明，这里假设读者拥有一定的Kafka基础知识。

首先，我们需要了解Kafka集群的一些机制：

  • Kafka是天然支持集群的，哪怕是一个节点实际上也是集群模式
  • Kafka集群依赖于Zookeeper进行协调，并且在早期的Kafka版本中很多数据都是存放在Zookeeper的
  • Kafka节点只要注册到同一个Zookeeper上就代表它们是同一个集群的
  • Kafka通过brokerId来区分集群中的不同节点

Kafka的集群拓扑图如下：

5bd014c906cc2fc2b179563594b6b6fc.png

Kafka集群中的几个角色：

  • Broker：一般指Kafka的部署节点
  • Leader：用于处理消息的接收和消费等请求，也就是说producer是将消息push到leader，而consumer也是从leader上去poll消息
  • Follower：主要用于备份消息数据，一个leader会有多个follower

在本例中，为了更贴近实际的部署情况，使用了四台虚拟机作演示：

机器IP 作用 角色 brokerId
192.168.99.1 部署Kafka节点 broker server 0
192.168.99.2 部署Kafka节点 broker server 1
192.168.99.3 部署Kafka节点 broker server 2
192.168.99.4 部署Zookeeper节点 集群协调者

Zookeeper安装

Kafka是基于Zookeeper来实现分布式协调的，所以在搭建Kafka节点之前需要先搭建好Zookeeper节点。而Zookeeper和Kafka都依赖于JDK，我这里已经事先安装好了JDK：

[root@192.168.99.4 ~]# java --version
java 11.0.5 2019-10-15 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.5+10-LTS)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.5+10-LTS, mixed mode)
[root@txy-server2 ~]#

准备好JDK环境后，到Zookeeper的官网下载地址，复制下载链接：

  • https://zookeeper.apache.org/releases.html#download

然后到Linux中使用wget命令进行下载，如下：

[root&
最低0.47元/天 解锁文章
weixin_39766109
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
五万字图文和代码详解kafka的安装与开启ACL权限控制，自定义SASL、ACL存储形式，实际项目使用案例剖析，kafka常用cmd命令使用总结及示例
代码讲故事
10-20 277
五万字图文和代码详解kafka的安装与开启ACL权限控制，自定义SASL、ACL存储形式，实际项目使用案例剖析，kafka常用cmd命令使用总结及示例。
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-02 620
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
kafka的java依赖包
10-18
kafka的java依赖包，包含kafka本地调用的所有jar包
Kafka集群搭建及必知必会
Dragon的博客
10-01 396
目录 Kafka集群部署并启动 Zookeeper安装 Kafka安装 Kafka副本集 Kafka节点故障原因及处理方式 Kafka Leader选举机制简介 Kafka集群部署并启动 在本文中将从演示如何搭建一个Kafka集群开始，然后简要介绍一下关于Kafka集群的一些基础知识点。但本文仅针对集群做介绍，对于Kafka的基本概念不做过多说明，这里假设读者拥有一定的Kafka基础知识。 首先，我们需要了解Kafka集群的一些机制： Kafka是天然支持集群的，哪怕是一个节点实际上
Kafka集群模式部署
weixin_30496751的博客
08-05 97
环境：kafka 0.8.1.1 基本概念 Kafka维护按类区分的消息，称为主题（topic） 生产者（producer）向kafka的主题发布消息 消费者（consumer）向主题注册，并且接收发布到这些主题的消息 kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为broker zookeeper配置 修改zk的配置文件conf/zoo.cfg ...
kafka依赖_kafka的简单学习
weixin_39916355的博客
11-20 512
概述Kafka是一种分布式的，基于发布/订阅的消息系统。特点如下：1、以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。2、高吞吐量，即使在非常廉价的商用机器上也能做到单机每秒100k条以上消息的传输。3、支持Kafka Server间的消息分区及分布式消费，同时保证每个Partition内的消息顺序传输。4、同时支持离线数据处理和实时数据处理。...
kafka依赖_蘑菇街千亿级消息Kafka上云实践
weixin_39926739的博客
11-20 212
Apache Kafka 简介Apache Kafka官网用这样一句话描述最新版本的Kafka：A distributed streaming platform。即分布式流式计算平台，并对其做了如下阐述：Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalab...
kafka入门必备手册
07-27
**Kafka集群搭建** Kafka集群的搭建通常涉及多个步骤，包括配置broker，启动ZooKeeper集群，以及部署和配置Kafka broker。集群中可以动态添加或移除broker，Kafka会自动进行负载均衡。 搭建集群时需要关注的关键点...
Kafka集群安装实施_Kafka2.5.0+Redhat7.5+Zookeeper
yangkei
11-02 965
一、概述 1.1 Kafka概念描述 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外k
kafka java依赖包
08-16
kafka java依赖包下载 kafka java依赖包下载 kafka java依赖包下载
kafka client依赖包和示例代码
09-21
版本：kafka_2.12-0.10.2.1，生产者消费者示例代码，以及client相关包。 部分代码： public static KafkaProducer getProducer() { if (kp == null) { Properties props = new Properties(); props.put("bootstrap.servers", "127.0.0.1:9092"); props.put("acks", "0"); props.put("retries", 0); props.put("batch.size", 16384); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); kp = new KafkaProducer(props); } return kp; }
kafka模拟生产者消费者(集群模式)实例
04-27
kafka模拟生产者、消费者，集群模式，若是单机版，将ip端口组改为相应ip端口即可；
Kafka集群模式安装（二）
a2225791的博客
04-16 128
我们来安装Kafka的集群模式，三台机器： 192.168.131.128 192.168.131.130 192.168.131.131 Kafka集群需要依赖zookeeper，所以需要先安装好zk。 下载Kafka安装包： Kafka_2....
Kafka目前所用依赖
cai_and_luo的博客
06-18 4509
Kafka目前所用依赖 还会跟新，每条依赖的作用会跟新 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dep
KafKa - 集群模式搭建
小毕超博客
12-04 3478
高吞吐量KafaKa集群搭建与使用 一、Kafka消息中间件简介 Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Kafka并没有遵循JMS规范，它只提供了发布和订阅通讯方式。 kafka中文官网:http://kafka.apach
kafka依赖_kafka的基本介绍、架构
weixin_39930748的博客
11-19 550
一、kafka的基本介绍kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。最初由linkedin公司开发，使用scala语言编写，Kafka is a distributed,partitioned,replicated commit logservice。kafka对消息保存时根据Topic进行归类，发送消息者成为Pr...
kafka依赖_了解Kafka-分布式流数据平台
weixin_39616045的博客
11-20 177
行业最受欢迎的流媒体平台概述介绍Kafka是当今行业中的新流行语。 几乎所有领先的科技公司都在其平台上使用Kafka。 但是问题是它是什么，为什么要这么大肆宣传？Kafka是一个分布式，水平可扩展的流媒体平台。 它是一个开源流处理平台。 Kafka起源于LinkedIn，后来在2011年成为开源Apache项目，然后在2012年成为一流的Apache项目。Kafka用Scala和Java编写。 它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值