KAFKA-02-kafka单机和集群的安装

已于 2024-08-05 11:03:41 修改
阅读量975 收藏 1
点赞数
分类专栏： # kafka 文章标签： kafka zookeeper hadoop
于 2022-05-10 00:49:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41694906/article/details/124671732
版权

文章目录

1：环境准备

1：jdk1.8安装

1：检查系统中是否已经安装过openjdk，如果有将其删除

rpm -qa | grep java
yum remove -y java-*

2:将jdk上传到主机，并解压缩到指定目录 /usr/local

tar zxvf jdk-11.0.12_linux-x64_bin.tar.gz -C /usr/local/

3:配置环境变量并刷新

#编辑配置文件
vi /etc/profile
#写入如下内容
export JAVA_HOME=/usr/local/jdk-11.0.12
export CLASS_PATH=.
export PATH=$JAVA_HOME/bin:$PATH
#加载配置文件
source /etc/profile.d/jdk11.sh

4：检查安装
在这里插入图片描述

2：配置主机名和IP映射

配置主机名和ip的映射，后边要用
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3：关闭防火墙&防火墙开机自启动

注；不同的系统防火墙命令不同，以centos7为例

启动： systemctl start firewalld

关闭： systemctl stop firewalld

查看状态： systemctl status firewalld

开机禁用 ： systemctl disable firewalld

开机启用 ： systemctl enable firewalld

4：安装&启动Zookeeper

安装zk的文档我专门写了另一个博客：zookeeper安装和使用

2：kafka单机安装

1：下载地址

https://kafka.apache.org/downloads

2：解压

tar -zxvf kafka_2.12-3.0.0.tgz

3：修改配置

1：修改核心配置文件 /opt/kafka/config/server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://centos:9092   
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect=centos:2181

2：注：server.properties文件的配置的全部含义

#broker 的全局唯一编号，不能重复，只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600

#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://centos:9092   
#外网访问---代理将向生产者和消费者通告的主机名和端口，配上这个就可以直接通过ip来进行连接
advertised.listeners=PLAINTEXT://192.168.138.128:9092

#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以
配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
fka

3：kafka外网访问配置方式-不配置外网调用时会提示链接超时：org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for

加入我们内网的kafka 部署在192.168.1.1:9092 上，这时候我们用公网的123.2.3.4:20111 端口映射到内网192.168.1.1:20111端口上

listener.security.protocol.map=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
listeners=INTERNAL://192.168.1.1:9092,EXTERNAL://192.168.1.1:20111
advertised.listeners=INTERNAL://192.168.1.1:9092,EXTERNAL://123.2.3.4:20111
inter.broker.listener.name=INTERNAL

4：启动kafka

在kafka根目录下：./bin/kafka-server-start.sh -daemon config/server.properties

  • -daemon : #以守护进程方式启动
    在这里插入图片描述

3：集群安装

集群安装和单机安装基本一样

1：jdk安装，这个是一样的

2：配置主机名和映射

在这里插入图片描述

3：关闭防火墙

这个三台分别关闭即可

4：同步时钟

因为三台机器需要同步时间，否则容易造成数据不一致
在这里插入图片描述
同步时钟 ntpdate cn.pool.ntp.org 或者 ntpdate ntp[1-7].aliyun.com
然后clock - w
在这里插入图片描述

5：配置zookeeper集群

安装zk的文档我专门写了另一个博客：zookeeper安装和使用

6：配置kafka集群

1:下载地址

https://kafka.apache.org/downloads

2：解压

tar -zxvf kafka_2.12-3.0.0.tgz

3:修改配置（跟单机区别在这里）

修改核心配置文件 /opt/kafka/config/server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=0     
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://centos:9092   
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect=centos:2181

注：集群时修改地方：
1：broker.id----比如centosA为0，centosB为1，centosC为2
2：listeners=PLAINTEXT://centos:9092 ,分别改为监控自己节点的主机和端口号
3：zookeeper集群地址用逗号分割
在这里插入图片描述

注：server.properties文件的配置的全部含义

#broker 的全局唯一编号，不能重复，只能是数字。
broker.id=0
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以
配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/opt/module/kafka/datas
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个 topic 创建时的副本数，默认时 1 个副本
offsets.topic.replication.factor=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#每个 segment 文件的大小，默认最大 1G
log.segment.bytes=1073741824
# 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
fka

4:分别启动kafka

在kafka根目录下：./bin/kafka-server-start.sh -daemon config/server.properties
在这里插入图片描述

7：集群创建topic

1：创建：topic01，3个分区，2个副本因子

在这里插入图片描述

2：查看三台服务器存储情况

在centosA即borker0节点上：
在这里插入图片描述
在centosB即borker1节点上：
在这里插入图片描述

在centosC即borker2节点上：
在这里插入图片描述

3：通过命令查看topic分区情况

./bin/kafka-topics.sh 
                    --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                    --describe 
                    --topic topic01

在这里插入图片描述

如果三个节点，创建两个分区，3个副本因子，可以看到，虽然有3台broker，但是只有两台担任此topic的leader，但是三台机器上都有副本；

在这里插入图片描述

Linux下Kafka单机安装配置方法(图文)
09-15
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢
kafka搭建windows版本单机环境
04-11
项目需要，自学初级kafka环境搭建，现将学习心得，解压包和样例代码上传供大家参考学习，有兴趣的可以私聊讨论。
Kafka篇.Kafka 2.2.0的安装与使用
lwf006164的博客
06-29 2297
首先，Kafka依赖于Zookeeper，所以我们需要提前安装好Zookeeper 安装Zookeeper链接： https://blog.csdn.net/lwf006164/article/details/93301273 第一步：下载Kafka 2.2.0 //通过wget命令下载 wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_...
单机版Kafka简装
xhaoDream的博客
07-01 321
centos7 简单安装kafka 用于学习 单机版
本机搭建kafka单机版不需要依赖zookeeper
最新发布
woxiangmanman的博客
01-09 2032
本机搭建kafka单机版不需要依赖zookeeper
5. kafka单机版本
weixin_39563769的博客
06-23 296
kafka
kafka的一些脚本命令
u011089760的博客
06-19 284
1.启动kafka服务 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka bin/kafka-server-start.sh config/server.properties 2.创建一个主题 bin/kafka-topics.sh --create --zookeeper localhos...
单机版kafka安装
hcp_wade的博客
10-25 374
一.下载配置 下载最新安装包 wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 解压安装包 tar -xzvf kafka_2.11-2.0.0.tgz 修改Server.properties文件 vim kafka_2.11-2.0.0/config/server.properties l...
kafka-manager 最新版本 已经编译好，可直接使用
09-19
在部署kafka-manager-1.3.3.18时，你需要确保你的环境已经安装了Java和Sbt。首先，解压下载的压缩包，然后在命令行中导航到解压后的目录。接下来，你可以通过执行启动脚本来运行Kafka-Manager，通常会有一个类似于`...
kafka-rest:用于Kafka的融合REST代理
04-30
Kafka REST代理为Kafka集群提供了RESTful接口。 它使生成和使用消息，查看群集状态以及执行管理操作变得很容易，而无需使用本机Kafka协议或客户端。 用例示例包括从使用任何语言构建的任何前端应用向Kafka报告数据，...
kafka-docker搭建kafka单机&docker搭建kafka集群
坚持就是胜利的博客
02-19 1726
一.docker 内部配置单机kafka （我这里用的是乌班图 linux 也一样） 1.下载zookeeper (1)搜索命令： sudo docker search zookeeper (2)内容： ****************************************************************************************************************** NAME DES
压测实操--kafka-consumer压测方案
07-24 734
使用kafka自带的kafka-consumer-perf-test.sh脚本对集群消费情况进行压测，根据业务情况设置要测试的messager条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。
Kafka： Linux环境-单机部署和伪集群、集群部署
喜欢历史的码农
11-26 420
（2）修改配置，此配置用于消息发布与订阅的ip。将listeners的ip修改为当前部署kafka的服务器ip。和kafka压缩包，先下载zookeeper，如下。">"后后面的内容就是新建的topic。standalone代表单机启动。（4）新建topic并查看状态。（5）生产消息和消费消息。（2）启动并查看状态。（3）启动kafka。
安装kafka单机版
三暮辰的博客
10-22 672
安装kafka单机版 kafka是基于Scala开发，需要java的运行环境， 所以首先要确保已经安装配置好java环境 kafka自带集成了zookeeper 一、下载解压 下载地址：http://kafka.apache.org/downloads 解压：tar -zvxf kafka_2.12-3.0.0.tgz 二、进入目录运行 bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh
Linux下kafka单机版搭建
qq_39594037的博客
04-15 1619
这里使用3.6.4版本前提：服务器已经安装了jdk，zookeeper运行需要jdk环境。
Kafka单机版安装教程及测试（附每一步操作截图及说明）【一看就懂】
杨大仙
11-21 5060
Kafka单机版安装教程及测试（附每一步操作截图及说明）【一看就懂】；若还没有安装，请先安装配置java环境；准备好压缩包后上传至虚拟..... .....
kafka单机版部署
a1394916730的博客
07-08 716
将#zookeeper.connect=localhost:2181修改为zookeeper.connect=localhost:2181/mykafka。我这里选择最新版的zookeeper和kafka，实在找不到zookeeper和kafka的版本对应关系，又不想安装太旧的版本。#此时在zookeeper根目录下，会创建一个mykafka节点，这个节点的子节点，存放的是kafka的元数据。修改dataDir和dataLogDir调整为刚才创建的目录。
kafka单机安装和测试使用。
斧头湖懒客
10-24 1208
接手公司的老项目，公司使用的kafka版本 kafka_2.10-0.8.2.1 , 版本有点老旧，之后的版本和这个版本有很大不同，操作kafka时需要注意。这里简单说下 安装kafka和使用测试的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

苍煜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值