kafka单机版和集群版安装，以及环境配置

最新推荐文章于 2024-07-10 14:51:38 发布
最新推荐文章于 2024-07-10 14:51:38 发布
阅读量380 收藏 2
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiushaoMr/article/details/105267020
版权

linux下kafka安装，单机配置，集群配置

1.环境

Constos6.8
jdk1.8.0_181

2.JDK 安装,配置jdk环境变量

/usr/local/jdk
tar -zvxf jdk-8u11-linux-x64.tar.gz

配置jdk环境变量
/etc/profile文件的改变会涉及到系统的环境，也就是有关Linux环境变量的东西
所以，我们要将jdk配置到/etc/profile，才可以在任何一个目录访问jdk

[root@localhost local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_181  #jdk安装目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

通过命令source /etc/profile让profile文件立即生效

3.配置主机名修改

原主机名 CentosA 修改为 kw37
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=CentosA  修改为 kw37
NTPSERVERARGS=iburst

reboot 修改完主机名需要重启才能生效

4.IP和主机名的映射关系

修改hosts文件
vim /etc/hosts

5.相关术语介绍

  1. Broker
    Kafka集群包含一个或多个服务器，这种服务器被称为broker

  2. Topic
    每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

  3. Partition
    Partition是物理上的概念，每个Topic包含一个或多个Partition.

  4. Producer
    负责发布消息到Kafka broker

  5. Consumer
    消息消费者，向Kafka broker读取消息的客户端。

  6. Consumer Group
    每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。

6.zookeeper 启动

./config 修改 zoo_sample.cfg
cp zoo_sample.cfg zpp.cfg

vim zoo.cfg
将dtaDir 修改为 /root/zkdata 保存
创建指定的目录
mkdir /root/zkdata

跳转至zookeeper\bin目录下

start 启动
stop 关闭
status 查看状态
./zkServer.sh start/stop/status zoo.cfg

启动并检查zk状态

7.单机版kafka安装与操作

1.下载kafka到指定目录下，并解压。
2.打开 server.properties
vim config/server.properties

boker.id=0 服务节点标识。单机模式下无需修改，集群模式下需要手动修改
listeners=PLAINTEXT://kw39:9092   监听器，其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务。
log.dirs=/liushao/logs   kafka的Broker节点存储日志位置。目录由kafka启动时创建,需保证启动kafka服务的用户拥有创建文件夹的操作权限
zookeeper.connect=kw39:2181     zk连接参数

3.kafka启动/关闭

  • 启动:
    -daemon 已后台方式启动。缺省时默认服务存活于当前会话，连接窗口断开就关闭
./bin/kafka-server-start.sh -daemon config/server.properties

启动成功可用jps查看

[root@kw39 kafka_2.11-1.1.1]# jps
10600 Jps
8878 QuorumPeerMain
10527 Kafka

也可在log.dirs对应目录下看到如下文件

[root@kw39 kafka_2.11-1.1.1]# ls /liushao/logs/
cleaner-offset-checkpoint    meta.properties                   replication-offset-checkpoint
log-start-offset-checkpoint  recovery-point-offset-checkpoint
  • 关闭:
./bin/kafka-server-stop.sh

4.topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

  • 创建topic
    2.2.0之前的kafka版本使用 zookeeper 这里的端口使用 2181
    2.2.0开始zookeeper参数废弃，开始使用 bootstrap-server 这里的端口使用 9092
./bin/kafka-topics.sh --zookeeper kw39:2181 --create --topic topic02 --partitions3 --replication-factor 2 
./bin/kafka-topics.sh --bootstrap-server kw39:9092 --create --topic topic01 --partitions 1 --replication-factor 1

topic topic01 消息名称
partitions 1 分区数
replication-factor 1 副本因子 （副本因子数量不能超过分区数）

5.Consumer
消息消费者，向Kafka broker读取消息的客户端。

./bin/kafka-console-consumer.sh --zookeeper 10.9.50.67:2181 --topic example --group g2

6.Producer
负责发布消息到Kafka broker

./bin/kafka-console-producer.sh --broker-list kw39:9092 --topic topic01

8.kafka集群配置

  1. 集群上配置要求一致，时间要求一致。
    安装时钟同步服务：yum install ntp -y

    使用命令进行时钟同步：
    ntpdate ntp1.aliyun.com
    clock -w

    [root@kw39 kafka_2.11-1.1.1]# ntpdate ntp1.aliyun.com
11 Jan 09:45:44 ntpdate[25912]: step time server 120.25.115.20 offset -248.862495 sec
[root@kw39 kafka_2.11-1.1.1]# clock -w

  2. 测试时防火墙全部关闭，正式环境需要配置防火墙策略

    查看防火墙状态：service iptables status
    开启防火墙：service iptables start
    关闭防火墙：service iptables stop
    [root@kw39 kafka_2.11-1.1.1]# chkconfig --list |grep iptables
    iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭

  3. 配置集群IP与主机名映射关系
    原主机名 CentosA 修改为 kw37

    vim /etc/sysconfig/network   
NETWORKING=yes
HOSTNAME=CentosA  修改为 kw37
NTPSERVERARGS=iburst

    reboot 重启才能生效
    IP和主机名的映射关系
    vim /etc/hosts

  4. 配置ZK集群节点和kafka集群端口
    ZK配置。
    在集群服务器上安装ZK服务。修改zoo.cfg文件
    vim zoo.cfg

    将dtaDir 修改为 /root/zkdata 
在文件最后加上服务节点信息

节点名 = 主机名:数据同步端口:主从选举端口
server.1=kw37:2888:3888
server.2=kw38:2888:3888
server.3=kw39:2888:3888

    保存后 创建目录 mkdir /root/zkdata
    需要在zkdata下创建myid文件。在文件中写入当前服务的ID号

    echo 1> /root/zkdata/myid
echo 2> /root/zkdata/myid
echo 3> /root/zkdata/myid

    全都配置完成后，分别启动服务。
    ./bin/zkServer.sh start/stop/status zoo.cfg

    如果启动失败时，检查防火墙是否全部关闭。检查myid文件时候和主机配置是否对应正确

  5. kafka配置。
    在集群服务器上安装kafka服务。修改config文件
    vim config/server.properties

    boker.id=0 服务节点标识。单机模式下无需修改，集群模式下需要手动修改
listeners=PLAINTEXT://kw37:9092   监听器，其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务。
log.dirs=/liushao/logs   kafka的Broker节点存储日志位置。目录由kafka启动时创建,需保证启动kafka服务的用户拥有创建文件夹的操作权限
zookeeper.connect=kw37:2181,kw38:2181,kw39:2181     zk连接参数

9.kafka命令

  • 启动:
    -daemon 已后台方式启动。缺省时默认服务存活于当前会话，连接窗口断开就关闭
    ./bin/kafka-server-start.sh -daemon config/server.properties

  • 关闭:
    ./bin/kafka-server-stop.sh

  • 查看topic
    -ls /liushao/logs 可以查看对应的topic节点信息
    ./bin/kafka-topics.sh --zookeeper kw37:2181,kw38:2181,kw39:2181 --list
    ./bin/kafka-topics.sh --bootstrap-server kw37:9092,kw38:9092,kw39:9092 --list

  • 查看topic详情
    ./bin/kafka-topics.sh --bootstrap-server kw37:9092,kw38:9092,kw39:9092 --describe

    [root@kw39 logs]# /liushao/kafka_2.11-1.1.1/bin/kafka-topics.sh --zookeeper kw39:2181 --	describe
Topic:topic01    PartitionCount:1    ReplicationFactor:1    Configs:
Topic: topic01    Partition: 0    Leader: 1001    Replicas: 1001    Isr: 1001
Topic:topic02    PartitionCount:3    ReplicationFactor:1    Configs:
Topic: topic02    Partition: 0    Leader: 1001    Replicas: 1001    Isr: 1001
Topic: topic02    Partition: 1    Leader: 1001    Replicas: 1001    Isr: 1001
Topic: topic02    Partition: 2    Leader: 1001    Replicas: 1001    Isr: 1001

  • 修改分区 分区只能增加不能减少
    ./bin/kafka-topics.sh --zookeeper kw37:2181,kw38:2181,kw39:2181 --alert --topic topic01 --partitions 2

  • 删除分区
    ./bin/kafka-topics.sh --zookeeper kw37:2181,kw38:2181,kw39:2181 --delete --topic topic01

  • Consumer
    消息消费者，向Kafka broker读取消息的客户端。
    ./bin/kafka-console-consumer.sh --zookeeper kw37:2181,kw38:2181,kw39:2181 --topic topic02 --group g1

  • Producer
    负责发布消息到Kafka broker
    ./bin/kafka-console-producer.sh --broker-list kw37:9092,kw38:9092,kw39:9092 --topic topic01

重露成涓滴
关注
专栏目录
kafka安装流程（单机）
weixin_48144695的博客
04-02 487
kafka安装流程（单机）
kafka的单机、集群部署安装
将臣三代的博客
06-22 893
通过上述步骤，可以完成 Kafka 的单机和集群部署。单机部署适用于开发和测试环境，而集群部署适用于生产环境，能够提供高可用性和高吞吐量。作为架构师，掌握这些基本部署和配置步骤，对于设计和维护 Kafka 系统至关重要。
单机版kafka安装
Memorys
07-04 488
下载目录： /export/server/kafka/ kafka安装需要有zookeeper注册中心 其中 zookeeper的安装 见centos7安装伪分布式zookeeper 1.下载 [root@VM_0_2_centos kafka]# wget http://archive.apache.org/dist/kafka/0.10.1.1/kafka_2.11-0.10.1....
kafka的一些脚本命令
u011089760的博客
06-19 256
1.启动kafka服务 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka bin/kafka-server-start.sh config/server.properties 2.创建一个主题 bin/kafka-topics.sh --create --zookeeper localhos...
kafka 单机集群搭建和监控
11-23
在本文中，我们将深入探讨如何搭建Kafka单机环境与集群，以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台，广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明： ...
kafka单机版自动安装shell脚本
02-19
在Kafka单机版环境中，尽管没有涉及到集群的复杂性，但理解如何配置和管理单个节点对于学习Kafka的工作原理和后期扩展至多节点集群至关重要。这个自动安装脚本简化了这一过程，使得开发者和运维人员能更专注于Kafka...
kafka环境搭建（单机+集群） 详细
12-02
在完成上述步骤后，你就成功地在单机和集群环境下搭建了Kafka和Redis。接下来，你可以开始测试消息传递和数据存储，了解如何创建主题，生产与消费消息，以及如何在Redis中存取数据。确保在实际使用中根据业务需求...
Kafka： Linux环境-单机部署和伪集群、集群部署
喜欢历史的码农
11-26 381
（2）修改配置，此配置用于消息发布与订阅的ip。将listeners的ip修改为当前部署kafka的服务器ip。和kafka压缩包，先下载zookeeper，如下。">"后后面的内容就是新建的topic。standalone代表单机启动。（4）新建topic并查看状态。（5）生产消息和消费消息。（2）启动并查看状态。（3）启动kafka。
kafka单机版安装
06-12 631
zookeeper 下载并解压 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz tar -zxvf ./zookeeper-3.4.14.tar.gz 修改配置文件 cd ./zookeeper-3.4.14/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg tickTime=2000 initLimit=10
安装kafka单机版
三暮辰的博客
10-22 648
安装kafka单机版 kafka是基于Scala开发，需要java的运行环境， 所以首先要确保已经安装配置好java环境 kafka自带集成了zookeeper 一、下载解压 下载地址：http://kafka.apache.org/downloads 解压：tar -zvxf kafka_2.12-3.0.0.tgz 二、进入目录运行 bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh
Docker Kafka 单机版安装
添砖加瓦
12-15 1151
一、安装 下载library/zookeeper并运行 docker run --name zookeeper -d -p 2181:2181 -v /etc/localtime:/etc/localtime library/zookeeper 测试zookeeper端口是否通 wget IP:2181 下载wurstmeister/kafka并运行 docker run -d ...
kafka单机安装
Lucifer ZHAO
08-04 2393
kafka安装准备 jdk-8u131-linux-x64.tar.gz kafka_2.13-3.2.0.tgz apache-zookeeper-3.6.1-bin.tar.gz kafka-eagle-bin-2.1.0.tar.gz zktools.zip canal.deployer-1.1.4.tar.gz
单机kafka的安装
youhebuke_f的博客
10-03 817
linux中kafka的安装
Kafka单机版安装与基本命令
雷神乐乐的博客
04-24 2048
Kafka单机版安装与基本命令
Kafak单机安装
最新发布
weixin_43942414的博客
07-10 696
zk需要jdk环境上传zk安装包并解压[root@localhost zookeeper-3.4.13]# mkdir data #在解压目录创建一个存储zookeeper数据的data目录dataDir=../data #修改zk的数据存储目录clientPort=2181 #zk的端口号进入bin目录#启动zk查看zk启动状态，目前是单机运行模式有进程。
【精】Kafka单机版安装与测试
【冯立雄】的博客
01-11 201
伪分布式中kafka中已经集成了zookeeper 1.下载kafka kafka_2.11-0.10.0.1 2.解压kafka tar -zxvf kafka_2.11-0.10.0.1.tgz 3.移动到下面文件夹 /home/software/kafka_2.11-0.10.0.1 4.配置文件 vi /etc/profile export KAFKA_HOME=/home/so...
Kafka单机版安装教程及测试（附每一步操作截图及说明）【一看就懂】
杨大仙
11-21 4631
Kafka单机版安装教程及测试（附每一步操作截图及说明）【一看就懂】；若还没有安装，请先安装配置java环境；准备好压缩包后上传至虚拟..... .....
Kafka单机版安装
09-13
首先，您需要确保您的系统满足Kafka的要求： 1. Java环境：Kafka需要Java 8或更高版本，请确保...至此，您已经成功安装了Kafka单机版。您可以使用Kafka提供的命令行工具或编程语言的Kafka客户端来与Kafka进行交互。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值