Kafka高可用集群环境搭建

最新推荐文章于 2024-04-27 11:41:03 发布
最新推荐文章于 2024-04-27 11:41:03 发布
阅读量314 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42292373/article/details/103286746
版权

文章目录

1.kafka的优点

  • 高吞吐量,低延迟:Kafka每秒可以处理几十万条消息,他的延迟最低只有几毫秒,每个topic可以分多个partition,consumer,group
    对 partition进行consumer操作
  • 可扩展性:kafka支持集群进行扩展
  • 持久性,可靠性:消息可以被持久化到硬盘当中,支持数据备份
  • 容错性:允许集群中节点的失败
  • 高并发:支持上千个客户端进行同时的读写

2.Kafka相关名词解释

在这里插入图片描述

kafka以topic来进行消息管理,每个topic包含多个partition,每个partition对应一个逻辑log,有多个consumer组成每个segment中存储多条消息,消息id由其逻辑位置决定,即从消息id可以直接定位到消息的存储位置,避免id到位置的额外映射每个part在内存中对应一个index,记录每个segment中的第一条消息偏移发布者发布到某个topic的消息被均匀的分不到多个partition上(或者根据用户执行的路由规则进行分布),broker收到发布

3.Kafka的集群原理

在这里插入图片描述

4.Kafka集群环境的搭建

4.1 搭建broker流程图

在这里插入图片描述

4.2 服务器集群的准备

使用vm虚拟三个linux主机
192.168.212.174
192.168.212.175
192.168.212.176

4.2 Zookeeper集群环境搭建

因为kafka环境依赖于Zookeeper,所以这里也要搭建Zookeper的集群环境搭建

1.每台服务器节点上安装jdk1.8环境
使用java-v命令测试
2.每台服务器节点上安装Zookeeper,解压并且进行重命名

  • 下载并且安装zookeeper安装包

     wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

  • 解压安装包

     tar -zxvf zookeeper-3.4.10.tar.gz

  • 重命名

     重命名： mv zookeeper-3.4.10 zookeeper

4.3 搭建Zookeeper集群环境

1.重命名
mv zookeper.16.2 Zookeper # 重命名文件夹
mv zoo_sample.cfg zoo.cfg # 重命名配置文件
2.修改 zoo.cfg配置文件

(1)修改 dataDir文件的目录为安装目录的data
dataDir=/usr/local/zookeeper/data  # 这个data目录 目前是没有的,第三部有创建
(2) 增加的集群的配置信息,直接写在最后即可
server.0=192.168.212.174:2888:3888
server.1=192.168.212.175:2888:3888
server.2=192.168.212.176:2888:3888

在这里插入图片描述
3.创建服务器标识
服务器标识配置：
创建文件夹： mkdir data
创建文件myid并填写内容为0

4.复制zookeeper

进行复制zookeeper目录到hadoop01和hadoop02还有/etc/profile文件

把hadoop01、 hadoop02中的myid文件里的值修改为1和2

路径(vi /usr/local/zookeeper/data/myid)

关闭每台服务器节点防火墙，systemctl stop firewalld.service

4.4 Kafka集群环境搭建

1.解压下载好的kafka压缩包并重命名
cd /usr/local # 进入文件目录
wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz # 下载kafka资源
tar -zxvf kafka_2.11-1.0.0.tgz # 解压
mv kafka_2.12-0.11.0.0 kafka #更名
2.修改配置文件
vi ./kafka/config/server.properties
修改内容如下
broker.id=0
listeners=PLAINTEXT://192.168.131.130:9092 ##PLAINTEXT不能省略,且9092不会改变
zookeeper.connect=192.168.131.130:2181,192.168.131.131:2181,192.168.131.132:2181
3.在系统环境中配置kafka的路径

// 在文件最下方添加kafka路径
export KAFKA_HOME=/usr/local/kafka
// 多路径PATH写法为PATH=${ZOOKEEPER_HOME}/bin:${KAFKA_HOME}/bin:$PATH
PATH=${KAFKA_HOME}/bin:$PATH
export PATH

zk的环境变量也需要配置的
在这里插入图片描述
// 使修改完的环境变量生效

source /etc/profile

然后把kafka和Zookeper进行克隆,只用修改mycatid 和 brokerid 匹配即可

4.5环境测试

1.启动Zookeper

启动zookeeper：
路径： /usr/local/zookeeper/bin
执行： zkServer.sh start
(注意这里3台机器都要进行启动)
状态： zkServer.sh status(在三个节点上检验zk的mode,一个leader和俩个follower)

2.Kaka集群环境测试

1、开启3台虚拟机的zookeeper程序 
/usr/local/zookeeper/bin/zkServer.sh start 
开启成功后查看zookeeper集群的状态 
/usr/local/zookeeper/bin/zkServer.sh status 
出现Mode:follower或是Mode:leader则代表成功 
2、在后台开启3台虚拟机的kafka程序(cd /usr/local/kafka) 
./bin/kafka-server-start.sh -daemon config/server.properties 
3、在其中一台虚拟机(192.168.131.130)创建topic 
/usr/local/kafka/bin/kafka-topics.sh –create –zookeeper 192.168.131.130:2181 –replication-factor 3 –partitions 1 –topic my-replicated-topic 
// 查看创建的topic信息 
/usr/local/kafka/bin/kafka-topics.sh –describe –zookeeper 192.168.131.130:2181 –topic my-replicated-topic

3.SpringBoot整合kakfa

项目依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>com.itmayiedu</groupId>
	<artifactId>springboot2.0_kafka</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.0.1.RELEASE</version>
	</parent>
	<dependencies>
		<!-- springBoot集成kafka -->
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
		</dependency>
		<!-- SpringBoot整合Web组件 -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
	</dependencies>

</project>

配置文件

# kafka
spring:
  kafka:
    # kafka服务器地址(可以多个)
    bootstrap-servers: 192.168.212.174:9092,192.168.212.175:9092,192.168.212.176:9092
    consumer:
      # 指定一个默认的组名
      group-id: kafka2
      # earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
      # latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
      # none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
      auto-offset-reset: earliest
      # key/value的反序列化
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    producer:
      # key/value的序列化
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 批量抓取
      batch-size: 65536
      # 缓存容量
      buffer-memory: 524288
      # 服务器地址
      bootstrap-servers: 192.168.212.174:9092,192.168.212.175:9092,192.168.212.176:9092

controller

package com.mayikt;

import org.apache.kafka.clients.consumer.ConsumerRecord;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

/**
 * 
 * @author 余胜军
 */
@RestController
@SpringBootApplication
public class KafkaController {

	/**
	 * 注入kafkaTemplate
	 */
	@Autowired
	private KafkaTemplate<String, String> kafkaTemplate;

	/**
	 * 发送消息的方法
	 *
	 * @param key
	 *            推送数据的key
	 * @param data
	 *            推送数据的data
	 */
	private void send(String key, String data) {
		// topic 名称 key data 消息数据
		kafkaTemplate.send("my_test", key, data);

	}
	// test 主题 1 my_test 3

	@RequestMapping("/kafka")
	public String testKafka() {
		int iMax = 6;
		for (int i = 1; i < iMax; i++) {
			send("key" + i, "data" + i);
		}
		return "success";
	}

	public static void main(String[] args) {
		SpringApplication.run(KafkaController.class, args);
	}

	/**
	 * 消费者使用日志打印消息
	 */

	@KafkaListener(topics = "my_test")
	public void receive(ConsumerRecord<?, ?> consumer) {
		System.out.println("topic名称:" + consumer.topic() + ",key:" + consumer.key() + ",分区位置:" + consumer.partition()
				+ ", 下标" + consumer.offset());
	}

}
爱吃糖的靓仔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka高性能集群部署与优化
BXA
07-07 2473
Kafka是由Apache Software Foundation开发的一个分布式流处理平台，源代码以Scala编写。Kafka最初是由LinkedIn公司开发的，于2011年成为Apache的顶级项目之一。高吞吐量：Kafka每秒可以处理数百万条消息。持久化：数据存储在硬盘上，支持数据可靠性和持久性。分布式：Kafka集群可以在多台服务器上运行，提供高可用性和容错性。多语言支持：Kafka提供多种编程语言的客户端API，包括Java、Python、Go等。
Kafka学习之路 （三）Kafka的高可用
qq_36306519的博客
05-03 867
Kafka学习之路 （三）Kafka的高可用
【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建_kafka kraft
最新发布
2401_83974345的博客
04-27 739
尽管 controller 进程在逻辑上与 broker 进程是分离的，但它们不需要在物理上分离。即在某些情况下，部分或所有 controller 进程和 broker 进程是可以是同一个进程，即一个broker节点即是broker也是controller。
高可用高性能核心原理探究，Kafka 核心全面总结
架构精进之路
06-16 573
hello，大家好，我是张张，「架构精进之路」公号作者。引言在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最重要的落地场景。异步解耦：同步调用转换成异步消息通知，实现生产者和消费者的解耦。想象一个场景，在商品交易时，在订单创建完成之后，需要触发一系列其他的操作，比如...
Kafka原理解析(二)：高可用、高性能机制
Murphy_H的博客
09-11 2172
目录1、高可用机制1.2、高可用保障机制1.2.1、消息备份机制1.2.2、ISR1.2.2.1、分区Leader副本的选举1.2.3、消息应答确认机制1.2.4、LEO和HW1.3、故障恢复机制1.3.1、Broker故障恢复分析1.3.1.1、场景一：Broker0与其他Broker断开连接1.3.1.2、场景二：Broker0与ZooKeeper断开连接1.3.2、Controller故障恢复分析1.3.2.1、场景一：Controller与某个Broker（如Broker0）断开连接1.3.2.2、
【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建
hiliang521的博客
12-12 3168
>本文主要介绍了 >- kafka raft集群架构： > 与旧架构的不同点，有哪些优势，哪些问题 > 架构成员有哪些，怎么规划。 > - 三节点集群安装、启动与测试
基于Zookeeper搭建Kafka高可用集群
08-09
基于Zookeeper搭建Kafka高可用集群
kafka+zookeeper高可用集群搭建shell使用脚本
02-22
kafka+zookeeper高可用集群搭建shell使用脚本，直接在linux运行就行
kafka集群搭建及测试.docx
11-11
这个是我自己根据网上的教程以及自己的经验总结出来的kafka的集群搭建以及测试，亲测可用，如果遇到一些小问题，请上网百度。或者私聊均可，可以给与帮助
Kafka集群搭建（3台机）
05-25
网上Kafka集群搭建的教程很多了，但真正能用的不多，本文提供了详细的步骤说明，绝对可用
Kafka(一)概念，无状态和集群
weixin_43442659的博客
03-09 924
概念 首先来说一下Kafka的基本大概念，分别有Broker，Topic，Partition，Producer，Consumer，ConsumerGroup。最简单的是Broker和Producer，一个Kafka节点就是一个Broker，多个Broker可以组成集群。然后是Topic和Partition，Topic是一个逻辑概念，Topic名相同就认为是同一个Topic，不用管是不是在同一个Broker下，而Partition是真正存消息地方，可以认为是传统MQ中队列的概念，注意，只是存消息，而非Brok
蚂蚁中间件团队面试题：Netty+Redis+Kafka+MongoDB+分布式
11-14
蚂蚁中间件团队面试题：Netty+Redis+Kafka+MongoDB+分布式
【大数据入门核心技术-Kafka】（三）Kafka高可用集群部署
12-17 401
#在Kafka02上消费Broker03的消息 bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic test --from-beginning#在Kafka03上消费Broker02的消息 bin/kafka-console-consumer.sh --bootstrap-server hadoop103:9092 --topic test --from-beginning #然后均能收到消息 test msg
kafka高可用(集群)
架构师与哈苏
11-10 441
kafka的分布式和高可用 kafka的一个基本架构：多个broker组成，一个broker是一个节点；你创建一个topic，这个topic可以划分成多个partition，每个parttition可以存在于不同的broker上面，每个partition存放一部分数据。这是天然的分布式消息队列。 实时上rabbitmq并不分布式消息队列，他就是传统的消息对了，只不过提供了一些集群，HA的机制...
Kafka高可用 — KRaft集群搭建
WonderThink的博客
03-18 7141
Kafka Raft 是一种共识协议，它的引入是为了消除 Kafka 对 ZooKeeper 的元数据管理的依赖，被社区称之为 Kafka Raft metadata mode，简称 KRaft 模式。本文介绍了KRaft模式及三节点的 KRaft 集群搭建。
k8s之部署kafka集群+高可用配置
Vic的博客
08-17 1611
本文安装思路参考自： Kubernetes全栈架构师：基于世界500强的k8s实战课程 文章目录 1. 安装helm 1.1. 安装helm 1.2. Helm基本命令 2. 部署zookeeper与kafka 2.1. 下载chart包 2.2. 部署zookeeper 2.2.1. 编辑values 2.2.2. 安装 2.3. 安装kafka 2.3.1. 编辑values 2.3.2. 基
Springboot整合kafka
weixin_43167662的博客
09-26 122
1.在pom中导入jar包 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2.添加配置文件信息 package com.springboot.kafka.bean; import lombok.Data; import lombok.experi
Kafka 高可用集群搭建
不积跬步，无以至千里
01-08 2872
前言 kafka集群搭建需要在已经安装JavaJDK和Zookeeper的基础上。 如未安装JDK和Zookeeper，请参考如下博客： JDK安装：https://blog.csdn.net/lichenglong33/article/details/99636768 Zookeeper集群安装 ：https://blog.csdn.net/lichenglong33/articl...
Kaka集群生产者消费者使用实例(二)
weixin_43692357的博客
06-11 338
前景: 当kafka中的某一个topic数据量很大的时候就会导致消费者处理数据很慢,那我们可能会想着适当的增加分区(partition)来提高消费者的速度,那么我们创建多个分区的时候,生产者是如何分配生产的消息到分区的尼,让我走进科学世界. 一. 创建一个topic同时建立多个分区 ./kafka-topics.sh --create --zookeeper 172.18.10.48:2181 --replication-factor 1 --partitions 2 --topic kafka_t
kafka高可用集群怎么搭建
04-21
对于这个问题，我可以给出以下回答： Kafka高可用集群的搭建可以分为以下步骤： 1. 安装Java环境 2. 下载Kafka压缩包并解压 3. 创建一个Zookeeper集群，并在Kafka的配置文件中进行配置 4. 在Kafka配置文件中配置Broker ID、监听端口、数据日志存储路径等参数 5. 启动Kafka集群，通过Kafka提供的命令行工具进行操作和管理 具体的操作细节和注意事项可以参考Kafka官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值