一、JDK配置
1.Zookeeper和kafka都依赖于JDK因此首先需要在服务器上安装JDK,在官网下载或者百度下载JDK8.linux版本的压缩包。
2.将下载好的压缩到上传到服务器上,找个目录放在里面进行解压,解压完成后到root目录下进入.bashrc文件内配置JDK的环境变量,JAVA_HOME=你的JDk路径
export JAVA_HOME=/usr/lib/java/jdk1.8.0_212
export CLASSPATH=.:./bin
export PATH=$JAVA_HOME/bin:$PATH
在root目录在执行source .bashrc,通过Java -version查看是否配置成功`,出现下面信息说明配置成功。
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
二、.Zookeeper安装+配置+启动
1.下载安装Zookeeper,在官网下载Zookeeper压缩包,上传到服务器解压。
2.在zkServer.sh文件中配置JDK路径
export JAVA_HOME=/usr/lib/java/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH
3.配置Zookeeper配置文件
首先cp一份配置文件:cp conf/zoo_sample.cfg conf/zoo.cfg
修改zoo.cfg文件 vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log
clientPort=2181
server.1=0.0.0.0:2288:3388
server.2=10.200.60.29:2288:3388
dataDir=你要放置数据的目录
dataLogDir=你要存放日志的目录
目录需要收到创建:mkdir /tmp/zookeeper/data
mkdir /tmp/zookeeper/log
clientPort=Zookeeper的端口号;
server.1=你要安装Zookeeper到的服务器IP:端口号:端口号
有几个服务器就配置几个服务器,如果当前是服务器IP改为0.0.0.0
4. 设置myid文件
在dataDir目录下创建myid文件,dataDir=你要放置数据的目录
写入你在 zoo.cfg中设置的id:如server.1=0.0.0.0:2288:3388 ,1就是你当前服务器的broker.id
5.启动Zookeeper
在Zookeeper的安装目录下执行 bin/zkServer.sh conf/zoo.cf,我这里已经启动过了,显示如下
[root@mysql-compass-test zookeeper-3.4.14]# bin/zkServer.sh conf/zoo.cf
ZooKeeper JMX enabled by default
Using config: /zookeeper-3.4.14/bin/../conf/zoo.cfg
Usage: bin/zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}
其余的服务器安装配置同上
三.Kafka安装+配置+启动
1.首先下载kafka的压缩包解压,上传到服务器
2.修改kafka的配置文件
在kafka的安装目录下执行vim config/server.properties
broker.id=1
listeners=PLAINTEXT://10.200.60.19:9092
advertised.listeners=PLAINTEXT://10.200.60.19:9092
zookeeper.connect=10.200.60.19:2181,10.200.60.29:2181
broker.id= 你在myid文件设置的
listeners=PLAINTEXT://当前服务器IP:9092
advertised.listeners=PLAINTEXT://当前服务器IP:9092
zookeeper.connect=安装Zookeeper的服务器IP:端口号,设置几个写几个以逗号隔开
3.启动kafka
[root@test-hjj kafka_2.12-2.4.1]# bin/kafka-server-start.sh config/server.properties
出现下面信息说明启动成功
[2020-03-24 17:21:26,530] INFO [ZooKeeperClient Kafka server] Connected. (kafka.zookeeper.ZooKeeperClient)
[2020-03-24 17:21:26,858] INFO Cluster ID = F6qP-WntRA2uTeEJTnjJ_w (kafka.server.KafkaServer)
[2020-03-24 17:21:26,953] INFO KafkaConfig values:
advertised.host.name = null
advertised.listeners = PLAINTEXT://10.200.60.29:9092
advertised.port = null
alter.config.policy.class.name = null
alter.log.dirs.replication.quota.window.num = 11
alter.log.dirs.replication.quota.window.size.seconds = 1
authorizer.class.name =
auto.create.topics.enable = true
auto.leader.rebalance.enable = true
background.threads = 10
broker.id = 2
broker.id.generation.enable = true
broker.rack = null
client.quota.callback.class = null
compression.type = producer
connection.failed.authentication.delay.ms = 100
connections.max.idle.ms = 600000
connections.max.reauth.ms = 0
control.plane.listener.name = null
controlled.shutdown.enable = true
controlled.shutdown.max.retries = 3
controlled.shutdown.retry.backoff.ms = 5000
controller.socket.timeout.ms = 30000
create.topic.policy.class.name = null
default.replication.factor = 1
delegation.token.expiry.check.interval.ms = 3600000
delegation.token.expiry.time.ms = 86400000
delegation.token.master.key = null
delegation.token.max.lifetime.ms = 604800000
delete.records.purgatory.purge.interval.requests = 1
delete.topic.enable = true
fetch.purgatory.purge.interval.requests = 1000
group.initial.rebalance.delay.ms = 0
其余服务器配置同上
四、.测试kafka
1.创建Topics
bin/kafka-topics.sh --create –zookeeper 服务器ip地址:kafka端口号 --topic TopicName
2.查看Topics列表
bin/kafka-topics.sh --list --zookeeper 服务器ip:zookeeper端口号
3.创建生产者端
bin/kafka-console-producer.sh --broker-list 服务器ip:kafka端口号 --topic TopicName``
4.创建消费者端
bin/kafka-console-consumer.sh --bootstrap-server 服务器ip:kafka端口号--topic TopicName --from-beginning
5.测试
在生产者端输入消息
[root@my]# bin/kafka-console-producer.sh --broker-list 10.200.60.29:9092 --topic test3
>haha haha
在消费者端就会出现生产者输入的消息
[root@mys]# bin/kafka-console-consumer.sh --bootstrap-server 10.200.60.19:9092 --topic test3 --from-beginning
haha haha
版权声明:本文为CSDN博主「小五Great」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_41584510/article/details/105074737