Kafka 服务器安装
目录:
- 安装 zookipper
- 安装 Kafka
- 测试 创建 topic
- 启动生产者
- 启动消费者
- 关闭 服务
1 Zookipper
1.1 Zookipper 简介
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态
1.2 Zookipper 安装
#下载 zookipper
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14-bin.tar.gz
# 进行解压
tar -avxf zookeeper-3.4.14-bin.tar.gz
#进行配置
cd zookeeper-3.4.14-bin/conf/
#首先进行拷贝配置文件
cp zoo_sample.cfg zoo.cfg
#重要的两个配置
dataDir=/server/application/zookeeper/data # 数据存放位置,可根据 需要修改;
clientPort=2181 # 服务监听端口,可根据需要修改;
#环境变量的配置
vim /etc/profile
export ZOOKEEPER_HOME=/server/tools/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#配置完成后进行启动
cd /bin
# ./zkServer.sh start Zookeeper服务端启动;
# ./zkServer.sh stop Zookeeper服务端停止;
# ./zkServer.sh restart Zookeeper服务端重启;
# ps -ef|grep zookeeper; 查看Zookeeper进程;
# ./zkServer.sh status 查看Zookeeper服务端状态;
# ./zkCli.sh -server 127.0.0.1:2181 Zookeeper客户端登陆
#启动成功之后进行查看
ps -ef | grep zookeeper
root 1765 1 2 23:21 pts/0 00:00:00 java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /server/tools/zookeeper/bin/../zookeeper-server/target/classes:/server/tools/zookeeper/bin/../build/classes:/server/tools/zookeeper/bin/../zookeeper-server/target/lib/*.jar:/server/tools/zookeeper/bin/../build/lib/*.jar:/server/tools/zookeeper/bin/../lib/slf4j-log4j12-1.7.25.jar:/server/tools/zookeeper/bin/../lib/slf4j-api-1.7.25.jar:/server/tools/zookeeper/bin/../lib/netty-3.10.6.Final.jar:/server/tools/zookeeper/bin/../lib/log4j-1.2.17.jar:/server/tools/zookeeper/bin/../lib/jline-0.9.94.jar:/server/tools/zookeeper/bin/../lib/audience-annotations-0.5.0.jar:/server/tools/zookeeper/bin/../zookeeper-3.4.14.jar:/server/tools/zookeeper/bin/../zookeeper-server/src/main/resources/lib/*.jar:/server/tools/zookeeper/bin/../conf: -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=false org.apache.zookeeper.server.quorum.QuorumPeerMain /server/tools/zookeeper/bin/../conf/zoo.cfg
root 1787 1589 0 23:21 pts/0 00:00:00 grep --color=auto zookeeper
安装成功
2 Kafka
2.1 Kafka 简介
Apache Kafka发源于LinkedIn,于2011年成为Apache的孵化项目,随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。
2.2 Kafka 安装
#进入下载目录
cd /server/tools
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz
#解压
tar -avxf kafka_2.12-2.5.0.tgz
#进行配置修改 在kafka主目录下 bin/config文件夹中找到 server.properties 并进行修改
broker.id=0
log.dirs=/server/application/Kafka/logs
zookeeper.connect=127.0.0.1:2181
delete.topic.enble=true #这段代码会对以后删除kafka中的topic有影响,这段代码在文件尾部添加上即可
#配置全局命令
vim /etc/profile
export KAFKA_HOME=/server/tools/kafka
export PATH=$KAFKA_HOME/bin:$PATH
#配置刷新
source /etc/profile
#进行启动
./kafka-server-start.sh /server/tools/kafka/config/server.properties
出现如图显示表示已安装成功!
3. 测试
创建 Topic
[root@Kafka-Server bin]# sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic test.
#参数说明:
–zookeeper:指定kafka连接zk的连接url,该值和server.properties文件中的配置项{zookeeper.connect}一样
–replication-factor:指定副本数量
–partitions:指定分区数量
–topic:主题名称
#查询一创建的 topic
[root@Kafka-Server bin]# sh kafka-topics.sh --list --zookeeper localhost:2181
test
4 启动生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
> hello word #发送消息
5. 启动消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
hello word #消费想消息
hello kafk
6. 关闭服务
停止Kafka server: bin/kafka-server-stop.sh
停止Zookeeper server: bin/zookeeper-server-stop.sh
到此 单点入门的 kafka与zookeeper 安装就完成.