2 Kafka安装与配置
2.1 Java环境为前提
1、上传jdk-8u261-linux-x64.rpm到服务器并安装:
rpm -ivh jdk-8u261-linux-x64.rpm
2、配置环境变量
vim /etc/profile
```
export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export PATH-SPATH:$JAVA_HOME/bin
```
# 生效
source /etc/profile
# 验证
java -version
2.2 Zookeeper的安装配置
1、上传zookeeper-3.4.14.tar.gz到服务器
2、解压到/opt
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf
# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg文件
vim zoo.cfg
3、修改Zookeeper保存数据的目录
- dataDir: dataDir=/var/lagou/zookeeper/data
4、编辑/etc/profile
- 设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;
- ZOOKEEPER_PREFIX指向Zookeeper的解压目录;
- 将Zookeeper的bin目录添加到PATH中:
```
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export Z00_LOG_DIR=/var/lagou/zookeeper/log
```
5、使配置生效
source /etc/profile
6、验证
2.3 Kafka的安装与配置
1、上传kafka_2.12-1.0.2.tgz到服务器并解压
tar -zxf kafka_2.12-1.0.2.tgz -C /opt
2、配置环境变量并生效
vim /etc/profile
source /etc/profile
3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件:
Kafka连接Zookeeper的地址,此处使用本地启动的Zookeeper实例,连接地址是localhost:2181,后面的 myKafka 是Kafka在Zookeeper中的根节点路径
4、启动Zookeeper
zkServer.sh start
5、确认Zookeeper的状态
6、启动Kafka:
进入Kafka安装的根目录,执行如下命令
启动成功,可以看到控制台输出的最后一行的started状态
7、查看Zookeeper的节点
8、此时Kafka是前台模式启动,要停止,使用Ctrl+C。
如果要后台启动,使用命令:
kafka-server-start.sh -daemon config/server.properties
kafka-server-start.sh -daemon /opt/lagou/servers/kafka_2.12-1.0.2/config/server.properties
查看Kafka的后台进程
ps aux | grep kafka
停止后台运行的Kafka
2.4 生产与消费
1、kafka-topics.sh 用于管理主题
# 列出现有的主题
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看指定主题的详细信息
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1
# 删除指定主题
[root@node1 ~]# kafka-topics.sh --zookeeper localhost:2181/mykafka --delete --topic topic_1
2、kafka-console-producer.sh用于生产消息
# 开启生产者
[root@node1~]#kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1
3、kafka-console-consumer.sh用于消费消息
# 开启消费者
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1
# 开启消费者方式二,从头消费,不按照偏移量消费
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning