Kafka安装与配置

本文详细介绍了如何安装和配置Kafka,包括独立Zookeeper的安装、集群模式设置、Kafka的Scala环境准备、Kafka的安装、配置文件详解、启动Kafka、创建与验证Topic以及消息的发送与接收。重点讲解了集群配置和操作系统的调优,确保Kafka高效运行。
摘要由CSDN通过智能技术生成

安装Zookeeper

安装Kafka必须先安装zookeeper,虽然Kafka内置了zookeeper,但是建议不用。我们全新安装部署一套。

注意:zookeeper 3.5.4版本需要JDK1.8以上版本支持

tar xzvf zookeeper-3.5.4-beta.tar.gz
cp -r zookeeper-3.5.4-beta /usr/local/zookeeper
cd /usr/local/zookeeper
## 创建存储目录和日志目录
mkdir data
mkdir logs
## 修改配置文件
cd conf
mv zoo_sample.cfg zoo.cfg

修改配置文件,主要修改存储目录和日志目录

dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs

集群模式

如果是集群环境,需要在每个服务器上都执行上述的操作,同时在每个集群服务器的zookeeper配置文件中都添加所有的服务配置:

server.{id}={ip}:{port1}:{port1}

上面的配置中的id1 开始,最多 255 ,并且需要将该id写入到服务器对应的dataDir目录下的myid文件中,例如

echo '1' > /usr/loca/zookeeper/data/myid

上面配置中的 ip 为集群环境中各个服务器的ip地址;

第一个端口是从follower连接到leader机器的端口,第二个端口是用来进行leader选举时的端口,所以集群配置中有三个非常重要的端口:

clientPort:2181
port:2888
port:3888

所以集群环境中服务器的配置可以如下所示(每台服务器都相同):

server.1=172.16.9.41:2888:3888
server.2=172.16.9.42:2888:3888
server.3=172.16.9.43:2888:3888

配置环境变量

在配置完zookeeper,需要配置环境变量

vi /etc/profile
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
source /etc/profile

启动zookeeper

cd /usr/local/zookeeper/bin
./zkServer.sh start
./zkServer.sh stop
./zkServer
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值