高新能KAfKA之安装篇（集群搭建）02

最新推荐文章于 2024-09-29 10:23:56 发布
最新推荐文章于 2024-09-29 10:23:56 发布
阅读量809 收藏 29
点赞数 12
分类专栏： 高性能kafka之学习篇 文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41874544/article/details/141168904
版权
Kafka集群搭建（需要有zookeeper集群搭建），我这里准备了三台服务器节点，每台上安装了zookeeper和kafka。zookeeper已经完成了集群搭建。

如果不会搭建zookeeper，请看这里如何搭建并使用zookeeper集群

一、下载安装包

下载地址：Apache Kafka

好了废话不多说，直接下载安装

1. 安装kafka：
  • 下载对应版本，我这里使用3.1.0版本

  •  如果找不着地方下，直接使用wget下载也可
    1、选择所需版本下载

    [root@ywxtdb opt]# wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz


    2、解压安装包

    [root@ywxtdb opt]# tar -xvf kafka_2.12-2.1.0.tgz 

  • 下载后上传到Linux中,这里我使用的是xftp工具

  • 解压，将tgz文件解压到/opt/module/kafka_2.12-3.0.0
# 解压压缩包
[root@node1-zookeeper /]# tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
kafka_2.12-3.0.0/
kafka_2.12-3.0.0/LICENSE
kafka_2.12-3.0.0/NOTICE
kafka_2.12-3.0.0/bin/
kafka_2.12-3.0.0/bin/kafka-delete-records.sh
kafka_2.12-3.0.0/bin/trogdor.sh
...
  • 查看kafka解压目录(进入/opt/module/kafka_2.12-3.0.0目录)
[root@node1-zookeeper kafka_2.12-3.0.0]# ll
总用量 64
drwxr-xr-x 3 root root  4096 9月   9 2021 bin
drwxr-xr-x 3 root root  4096 9月   9 2021 config
drwxr-xr-x 2 root root  8192 9月  27 18:37 libs
-rw-r--r-- 1 root root 14521 9月   9 2021 LICENSE
drwxr-xr-x 2 root root   262 9月   9 2021 licenses
-rw-r--r-- 1 root root 28184 9月   9 2021 NOTICE
drwxr-xr-x 2 root root    44 9月   9 2021 site-docs
2. 编辑配置文件server.properties
# 编辑配置文件
 vim config/server.properties
 
# 1.代理ID,这里必须是一个唯一的整数值（第一台的节点为0，第二台为1，第三台为2）
broker.id=0

# 2.配置kafka实例监听的地址,如果不配置，可能会出现找不到IP，分区分配等待超时的问题：
advertised.listeners=PLAINTEXT://当前服务器的IP地址:9092

# 3.配置日志目录，kafuka存储数据（不能放在原来的默认目录下，为了方便管理使用，一般放在kafka的解压目录下）
log.dirs=/opt/module/kafka_2.12-3.0.0/datas

# 4.配置连接的zookeeper的主机名或IP地址加上端口号。
# /kafka：指定zookeeper中kafka的根节点，节点名称自由定义，用来统一存放kafka相关信息，如果不配置，kafuka的信息在zookeeper中就会自由打散到zookeeper中各个节点，不利于后续管理
zookeeper.connect=node01_zookeeper:2181,node2-zookeeper:2181,node3-zookeeper:2181/kafka

# 如果没有配置IP映射名称，就直接使用每个服务器节点的IP
zookeeper.connect=192.168.xxx.xxx:2181,192.168.xxx.xxx:2181,192.168.xxx.xxx:2181/kafka
  • 以上配置完成之后，使用xsync将kafka_2.12-3.0.0目录分发到剩余的两个节点
[root@node1-zookeeper module]# xsync kafka_2.12-3.0.0/
==================== node1-zookeeper ====================
root@node1-zookeeper's password: 
root@node1-zookeeper's password: 
sending incremental file list

sent 5,868 bytes  received 24 bytes  1,309.33 bytes/sec
total size is 90,160,028  speedup is 15,302.11
==================== node2-zookeeper ====================
sending incremental file list
kafka_2.12-3.0.0/config/
kafka_2.12-3.0.0/config/server.properties
kafka_2.12-3.0.0/libs/

sent 8,498 bytes  received 113 bytes  5,740.67 bytes/sec
total size is 90,160,028  speedup is 10,470.33
==================== node3-zookeeper ====================
sending incremental file list
kafka_2.12-3.0.0/config/
kafka_2.12-3.0.0/config/server.properties
kafka_2.12-3.0.0/libs/
  • 分发过去之后记得将server.properties文件中的broker.id改掉，第一台中的broker.id为0，第二台为1，第三台为2，注意不要有空格
  • 如果你没有配置xsync脚本，那么直接将/opt/module/kafka_2.12-3.0.0/config/server.properties文件复制到另外两台节点（你可以使用各种文件传输工具，如 scp、rsync 或 sftp，或者使用xftp连接上手动粘贴过去都可以）,或者你可以看一下如何使用rsync
  • 如果以上都不会，那就按照上述步骤将剩余两台节点中的kafka配置文件再配置一遍（记得该broker.id）

    image.png

     

    image.png

      
    # 比如使用scp命令
scp [要复制的文件目录]  [用户名]@[远程IP]:[目标文件目录]
    3.配置kafka环境变量
    [root@node1-zookeeper module]# vim /etc/profile

# 在profile文件最末尾添加一下配置（这里的目录根据自己的实际kafka解压安装来）
export KAFKA_HOME=/opt/module/kafka_2.12-3.0.0
export PATH=$PATH:$KAFKA_HOME/bin

    image.png

  • 刷新配置文件
[root@node1-zookeeper module]# source /etc/profile
[root@node1-zookeeper module]#
4.启动kafka
  • 正常我们启动kafka直接启动脚本即可，但是我们修改该过配置文件，所以启动是会报错
[root@node1-zookeeper kafka_2.12-3.0.0]# bin/kafka-server-start.sh 
USAGE: bin/kafka-server-start.sh [-daemon] server.properties [--override property=value]*
  • 所以要进入kafka目录内，执行以下命令来启动kafka服务器(带着配置文件启动)，相当于对默认的配置进行一个覆盖，三台都要启动
# 指定配置文件启动kafka
[root@node1-zookeeper kafka_2.12-3.0.0]# bin/kafka-server-start.sh -daemon config/server.properties 
# 查看进程
[root@node1-zookeeper kafka_2.12-3.0.0]# jps
6419 Kafka
6438 Jps
1644 QuorumPeerMain
  • 注意在启动之前一定要把9092端口开放！！！
# 查看防火墙状态
sudo firewall-cmd --state
# 查看所有开放端口
sudo firewall-cmd --list-ports

# 开放指定端口
sudo firewall-cmd --add-port=端口号/协议
# 例如
sudo firewall-cmd --add-port=9092/tcp

# 永久开放端口
sudo firewall-cmd --add-port=端口号/协议 --permanent
# 移除开放端口
sudo firewall-cmd --remove-prot=端口号/协议
# 永久移除
sudo firewall-cmd --remove-port=端口号/协议 --permanent
5. 编写kafka启停脚本（在生产环境中不可能手动一台一台启动，所以我们编写一个简单的启停止脚本）
# 1.进入/usr/local/bin目录
[root@node1-zookeeper kafka_2.12-3.0.0]# cd /usr/local/bin/
# 2.创建并编辑kafka.sh文件
[root@node1-zookeeper bin]# vim kafka.sh
  • 在kafka.sh文件中添加如下内容
#!/bin/bash

case $1 in
"start")
	for i in node1-zookeeper node2-zookeeper node3-zookeeper
	do
		echo "---------------------- start $i kafka ---------------------"
		ssh $i /opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/server.properties
	done
;;
"stop")
	for i in node1-zookeeper node2-zookeeper node3-zookeeper
  do
    echo "---------------------- stop $i kafka ---------------------"
    ssh $i /opt/module/kafka_2.12-3.0.0/bin/kafka-server-stop.sh
  done
;;
esac
  • 退出并保存之后，给文件添加可执行权限
[root@node1-zookeeper bin]# chmod 777 kafka.sh
  • 查看并测试，注意执行脚本的时候可能需要输入用户密码，直接输入自己的用户密码即可， 至于免密登录方式自行百度，这里不在赘述，启动kafka之前请确保自己的zookeeper集群启动并运行正常！
[root@node1-zookeeper bin]# ll
总用量 12
-rwxrwxrwx  1 root root 552 9月  28 00:09 kafka.sh

# 测试停止kafka
[root@node1-zookeeper /]# kafka.sh stop
----------------------stop node1-zookeeper kafka---------------------
----------------------stop node2-zookeeper kafka---------------------
----------------------stop node3-zookeeper kafka---------------------
# 在节点1上查看
[root@node1-zookeeper bin]# jps
6603 Jps
1644 QuorumPeerMain


# 测试启动kafka
[root@node1-zookeeper bin]# kafka.sh start
----------------------start node1-zookeeper kafka---------------------
----------------------start node2-zookeeper kafka---------------------
----------------------start node3-zookeeper kafka---------------------
# 在节点1上查看
[root@node1-zookeeper bin]# jps
6966 Jps
1644 QuorumPeerMain
6941 Kafka
  • 注意一些小问题：
    • 在停止kafka的时候立即查看kafka状态并不会消失，因为kafka停止需要一些时间，所以可以稍微等待一会儿再去查看。
    • 在集群中必须先关闭kafka，等待kafka关闭结束后才能继续关闭zookeeper，如果还有kafka没有关掉，就将zookeeper停止，那么此时kafka进程将永远无法关闭，只能使用kill将其进程杀掉，因为在zookeeper存储着kafka的信息，在kafka停止前，会先跟zookeeper通信查看kafka状态，但是此时zookeeper已经关闭，无法获取状态，所以就无法关闭。

示例：查看一下zookeeper中保存的kafka信息

至此，kafka集群搭建结束，下一章将介绍kafka的相关操作和Java API的使用等等

摸鱼丸加
关注
专栏目录
kafka安装包
10-23
kafka安装包，实测可用！！！！！！！！！！！！！！！！！！！！！！
Kafka安装启动(含安装包)
m0_45877477的博客
07-04 758
Kafka是由Apache软件基金会开发的一个开源流处理平台,Kafka是一种高吞吐量的分布式发布订阅消息系统.
Kafka基于Zookeeper搭建高可用集群实战
qq_36306519的博客
04-28 1650
Kafka基于Zookeeper搭建高可用集群实战
【Kafka】Linux部署Kafka集群
鸟人的博客
02-27 1056
将压缩包分别上传到三台Kafka服务器的/usr/local/kafka目录下，备用。分别在202,203节点上创建消费者。在151的broker上创建生产者。创建data和log目录。151节点下创建主题即可。启动Zookeeper。
Kafka安装包下载地址
BY的博客
01-11 1205
下载地址：http://kafka.apache.org/downloads.html
高新能KAfKA之基础篇01
qq_41874544的博客
08-13 674
kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，给予zookeeper协调的分布式消息系统，它的最大特性就是可以实时的处理大量数据以满足各种需求场景：比如给予Hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等 等，用scala语言编写。Linkedin于2010年贡献给了Apache基金会并称为顶级开源项目。
大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之1.Hadoop简介及Apache Hadoop完全分布式集群搭建
CUFEECR的博客
09-03 1731
本文主要介绍了Hadoop简介及Apache Hadoop完全分布式集群搭建：大数据简介，包括知识体系、大数据定义及应用场景和大数据发展趋势及从业人员发展路线等；Hadoop简介，包括Hadoop概念、起源、特点、发行版本和优缺点等；Hadoop的重要组成，狭义包括HDFS框架、MapReduce框架和Yarn框架；Apache Hadoop 完全分布式集群搭建，包括虚拟机环境准备、环境变量配置、集群规划实施、编写集群分发脚本、集群启动（单节点启动、集群群起和集群停止）、集群测试和历史日志服务器配置。
Hadoop入门（上）：大数据特点、大数据前景、大数据组织结构、Hadoop组成、Hadoop版本介绍、Hadoop运行环境搭建、CentOS6安装JDK、安装Hadoop、Hadoop目录结构
qq_43265673的博客
08-15 548
资料来源于尚硅谷 本篇文章目录 第1章·大数据概论 1.1.大数据概念。 1.2.大数据特点（4V） 1.3.大数据应用场景 1.4.大数据发展前景 1.5·大数据部门业务流程分析。 1.6·大数据部门组织结构（重点）。 第2章·从Hadoop框架讨论大数据生态 2.1Hadoop 是什么 2.2Hadoop发展历史 2.3Hadoop 三大发行版本。 2.4Hadoop的优势（4高）。 2...
kafka基础知识及集群搭建
11-03
【Kafka基础知识及集群搭建】 Kafka是一种分布式消息中间件，由Apache软件基金会开发，主要用于处理实时流式数据。它的核心特性包括高吞吐量、持久性、分布式和灵活的消费模式。 ### 1. Kafka概述 #### 1.1 消息...
kafka集群搭建文档
05-31
本篇文档将详细介绍如何在Linux环境中搭建Kafka集群，同时结合Hadoop和Spark的分布式安装，构建一个完整的数据处理平台。 首先，搭建Kafka集群的基础条件包括： 1. 至少一台Linux服务器，但为了高可用性，推荐多台...
Kafka详解(包括kafka集群搭建)
热门推荐
wudidahuanggua的博客
09-29 6万+
对kafka细致的解析，从理论到集群搭建实战
Kafka集群和Zookeeper集群搭建
一起学习吧
04-10 1149
文章目录1.安装zookeeper集群2.kafka集群安装 1.安装zookeeper集群 10.0.0.161 10.0.0.162 10.0.0.163 https://www.jianshu.com/p/1a99eebdf075 1.安装java yum install -y java maven 2.配置zookeeper [root@es-node1 conf]# cat zoo.cfg #服务器之间或客户端与服务器之间维持心跳的时间间隔 #tickTime以毫秒为单位。 tickTime
Kafka安装教程（详细过程）
Poppy_Evan的博客
03-01 6万+
安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off 一、下载安装包 Kafka官网下载安装包 http://kafka.apache.org/downloads.html 我们下载第二种（已经被编译过的），将安装包存在在 /s...
下载kafka安装包
weixin_34341229的博客
11-26 2026
kafka的安装包需要到Apache Kakfa官网进行下载: http://kafka.apache.org/downloads.html Source download: kafka-1.0.0-src.tgz (asc, sha512)代表的是源文件 Scala 2.12 - kafka_2.12-1.0.0.tgz (asc, sha512)...
Kafka 的重平衡问题详解及解决方案
最新发布
lssffy的博客
09-29 691
重平衡（Rebalance）是 Kafka 在消费者组内部重新分配分区（Partition）的过程。Kafka 的消费者组是一个逻辑概念，它允许多个消费者实例（Consumer）共同消费一个或多个主题（Topic）的分区。每个分区只能被一个消费者组中的一个消费者消费。因此，重平衡的目的是确保分区在消费者组中的消费者之间合理分配。Kafka 提供了多种分区分配策略，但在某些业务场景中，开发者可以根据需求实现自定义的分区分配策略，确保分区分配的灵活性和均衡性。// 实现自定义分区分配策略@Override。
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 467
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
Kafka集群调优与分布式搭建实战教程
"Kafka集群调优实战+分布式集群搭建的视频教程，适合有一定Kafka基础的学习者，内容涵盖Kafka java Consumer实战、集成框架、分布式集群架构、性能测试、监控、用户行为画像、性能存储优化及提升吞吐量等企业级技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值