Kafka的安装及基础配置
1、上传解压缩kafka
tar xzvf ftp/kafka_2.10-0.10.1.0.tgz -C /usr/local/
2、方便管理,更名文件夹
mv /usr/local/kafka_2.10-0.10.1.0/ /usr/local/kafka
3、Kafka开发包本身支持zookeeper命令,考虑到数据保存的方面,建两个文件夹,
mkdir -p /usr/data/kafka/{zookeeper,kafka}
4、编辑zookeeper.properties配置文件
vim /usr/local/kafka/config/zookeeper.properties
dataDir=/usr/data/kafka/zookeeper
5、进行kafka配置文件的定义
vim /usr/local/kafka/config/server.properties
配置数据保存目录:log.dirs=/usr/data/kafka/kafka
设置服务端口:port=9095
设置外网访问IP地址(端口号相同):advertised.listeners=PLAINTEXT://192.168.25.20:9095
Kafka默认的端口:9092,实际使用之中,往往分配其他端口。因为9092牵扯到加密问题,本次设置为9095
6、启动kafka服务,kafka依赖于zookeeper
启动kafka内置zookeeper服务
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
启动kafka服务进程
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
[root@zk-server ~]# jps
13679 QuorumPeerMain
13916 Kafka
14269 Jps
7、kafka启动之后会自动在zookeeper中注册,如果使用的是kafka的内置zookeeper,则这些数据查看比较麻烦(kafka提供了自己的zookeeper命令,不好用)
/usr/local/kafka/bin/zookeeper-shell.sh 192.168.25.20 ls /
8、如果用户要想进行kafka操作,要创建若干主题
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mldn-topic
9、查看所有的主题信息
/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
10、后台启动kafk中的zookeeper服务
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties > /usr/data/zoo.log 2>&1 &
11、后台启动kafka服务
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /usr/data/kafka.log 2>&1 &