Kafka入门（一）环境搭建

1环境搭建

操作系统：Centos7

需要安装的 一共三个：apache-zookeeper-3.5.7-bin.tar.gz、kafka_2.11-2.4.0.tgz、java jdk；

此次放在/opt/kafkaStudy文件夹下

1.1安装 apache-zookeeper（注意关于zookeeper启动命令、查看安装命令需要在bin文件夹下才能运行）

首先在Centos中解压，

tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz 

tar -zxvf 解压包

然后进入config文件夹，可以看到当前文件夹下

cd apache-zookeeper-3.6.2-bin/conf

然后将zoo_sample.cfg 复制一份。命名为 zoo.cfg（会成为默认文件）

 cp zoo_sample.cfg  zoo.cfg

然后通vi zoo.cfg修改内容

 vi zoo.cfg 

 

进入bin文件夹下启动

./zkServer.sh start

 

通过 ./zkCli.sh命令查看安装的zookeeper信息

./zkCli.sh

1.2Kafka安装

首先解压Kafka文件

tar -zxvf kafka_2.12-2.8.0.tgz

然后修改config下的server.properties

 cd kafka_2.12-2.8.0/config

vi server.properties 

 

Kafka常用命令

1、启动Kafka
./bin/kafka-server-start.sh -daemon config/server.properties
 #或者
./kafka-server-start.sh ../config/server.properties
1.1查看状态
jps
 
2、停止Kafka
./bin/kafka-server-stop.sh
 
3、创建Topic
./bin/kafka-topics.sh --create --zookeeper 172.16.0.11:2181 --replication-factor 1 --partitions 1 --topic jiangzh-topic
 
4、查看已经创建的Topic信息
./bin/kafka-topics.sh --list --zookeeper 172.16.0.11:2181
 
5、发送消息
./bin/kafka-console-producer.sh --broker-list 172.16.0.11:9092 --topic demo-topic
 
#./bin/kafka-console-producer.sh --broker-list 172.16.0.11:9092 --topic 名称
 
6、接收消息
./bin/kafka-console-consumer.sh --bootstrap-server 172.16.0.11:9092 --topic demo-topic --from-beginning
#./bin/kafka-console-consumer.sh --bootstrap-server 172.16.0.11:9092 --topic 名称 --from-beginning

 

 

1.2windows docker安装

1.2.1先下载安装zookeeper

docker search zookeeper

下载第一个

docker pull zookeeper

然后安装

docker run -d --name zookeeper -p 2181:2181 -t zookeeper

1.2.2下载安装kafka

docker search kafka

下载第一个

docker pull wurstmeister/kafka

安装

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=你的宿主ip --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

例如
docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

1.2.3进入kafka

docker exec -it 你的kafka容器id /bin/bash

或者通过docker进入

然后进入opt文文件夹下=》 cd opt/；然后进入带编号的kafka文件

 

 

1.2.4创建kafka以及接收kafka

接下来我们创建一个topic 名为demo1

bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic demo1

查看topic列表

bin/kafka-topics.sh --list --zookeeper zookeeper:2181  //查看我们的topic列表

 

产生一个生产者，发送消息。出现>之后，任意输入值然后回车。就说明发送成功消息

#bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic名
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo1

然后创建一个消息接收者

#bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic名 --from-beginning

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test01 --from-beginning