Kafka - Zookeeper 服务器安装

Kafka 服务器安装

目录:

• 安装 zookipper
• 安装 Kafka
• 测试 创建 topic
• 启动生产者
• 启动消费者
• 关闭 服务

1 Zookipper

1.1 Zookipper 简介

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态

1.2 Zookipper 安装

#下载 zookipper
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14-bin.tar.gz
# 进行解压
tar -avxf zookeeper-3.4.14-bin.tar.gz
#进行配置
cd zookeeper-3.4.14-bin/conf/
#首先进行拷贝配置文件
cp zoo_sample.cfg zoo.cfg
#重要的两个配置
dataDir=/server/application/zookeeper/data # 数据存放位置，可根据 需要修改；
clientPort=2181 # 服务监听端口，可根据需要修改；
#环境变量的配置
vim /etc/profile

export ZOOKEEPER_HOME=/server/tools/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#配置完成后进行启动
cd /bin 
# ./zkServer.sh start      Zookeeper服务端启动；
# ./zkServer.sh stop       Zookeeper服务端停止；
# ./zkServer.sh restart    Zookeeper服务端重启；

# ps -ef|grep zookeeper;   查看Zookeeper进程；
# ./zkServer.sh status    查看Zookeeper服务端状态；

# ./zkCli.sh -server 127.0.0.1:2181   Zookeeper客户端登陆

#启动成功之后进行查看
 ps -ef | grep zookeeper

root      1765     1  2 23:21 pts/0    00:00:00 java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /server/tools/zookeeper/bin/../zookeeper-server/target/classes:/server/tools/zookeeper/bin/../build/classes:/server/tools/zookeeper/bin/../zookeeper-server/target/lib/*.jar:/server/tools/zookeeper/bin/../build/lib/*.jar:/server/tools/zookeeper/bin/../lib/slf4j-log4j12-1.7.25.jar:/server/tools/zookeeper/bin/../lib/slf4j-api-1.7.25.jar:/server/tools/zookeeper/bin/../lib/netty-3.10.6.Final.jar:/server/tools/zookeeper/bin/../lib/log4j-1.2.17.jar:/server/tools/zookeeper/bin/../lib/jline-0.9.94.jar:/server/tools/zookeeper/bin/../lib/audience-annotations-0.5.0.jar:/server/tools/zookeeper/bin/../zookeeper-3.4.14.jar:/server/tools/zookeeper/bin/../zookeeper-server/src/main/resources/lib/*.jar:/server/tools/zookeeper/bin/../conf: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /server/tools/zookeeper/bin/../conf/zoo.cfg
root      1787  1589  0 23:21 pts/0    00:00:00 grep --color=auto zookeeper

安装成功

2 Kafka

2.1 Kafka 简介

Apache Kafka发源于LinkedIn，于2011年成为Apache的孵化项目，随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。

2.2 Kafka 安装

#进入下载目录
cd /server/tools
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz

#解压
tar -avxf kafka_2.12-2.5.0.tgz

#进行配置修改 在kafka主目录下 bin/config文件夹中找到 server.properties 并进行修改
broker.id=0
log.dirs=/server/application/Kafka/logs
zookeeper.connect=127.0.0.1:2181
delete.topic.enble=true     #这段代码会对以后删除kafka中的topic有影响，这段代码在文件尾部添加上即可

#配置全局命令 
vim /etc/profile

export KAFKA_HOME=/server/tools/kafka
export PATH=$KAFKA_HOME/bin:$PATH

#配置刷新
source /etc/profile

#进行启动
./kafka-server-start.sh /server/tools/kafka/config/server.properties

出现如图显示表示已安装成功!

3. 测试

创建 Topic

[root@Kafka-Server bin]# sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.
#参数说明:
–zookeeper：指定kafka连接zk的连接url，该值和server.properties文件中的配置项{zookeeper.connect}一样
–replication-factor：指定副本数量
–partitions：指定分区数量
–topic：主题名称

#查询一创建的 topic
[root@Kafka-Server bin]# sh kafka-topics.sh --list --zookeeper localhost:2181
test

4 启动生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test
> hello word #发送消息

5. 启动消费者

 ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
hello word #消费想消息
hello kafk

6. 关闭服务

停止Kafka server: bin/kafka-server-stop.sh
停止Zookeeper server: bin/zookeeper-server-stop.sh

到此 单点入门的 kafka与zookeeper 安装就完成.