Linux安装Kafka和依赖:
一.安装jdk
1.cd /usr/local
2.mkdir java 创建java文件夹
3.把jdk安装包jdk-8u144-linux-x64.tar.gz上传到/usr/local/java文件夹内
4.在/usr/local/java目录执行tar -zxvf jdk-8u144-linux-x64.tar.gz
5.配置环境变量
①:vim /etc/profile在文件末尾加上如下配置:
JAVA_HOME=/usr/local/java/jdk1.8.0_144
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPAT
然后wq保存退出
②:执行: source /etc/profile命令使配置生效
③:查看是否安装成功:java -version
二.安装zookeeper
1.下载版本: https://mirrors.bfsu.edu.cn/apache/zookeeper/
2.tar -zxvf 文件名称 解压版本
3.进入文件:cd 文件名/conf
4.将zoo_sample.cfg这个文件复制为zoo.cfg : cp zoo_sample.cfg zoo.cfg
5.进行修改:dataDir默认地址是/tmp/zookeeper 数据存放地址可以随便写(前提是有这个文件)
6.进入zookeeper下的bin目录执行启动:./zkServer.sh start
三.安装kafka
1.下载kafka版本:https://mirrors.bfsu.edu.cn/apache/kafka/
2.解压kafka包:tar -xzf 包名
3.启动kafka之前要确保zookeeper已经启动
4.启动kafka之前,需要修改kafka配置文件中的zookeeper地址
5.vi config/server.properties 修改zookeeper.connect=127.0.0.1:2181(这里修改成自己安装的zookeeper地址和端口即可)
四. 命令
1.启动命令:
- 启动zooleeper:./zkServer.sh start 到zooleepr文件下
- 运行kafka:bin/kafka-server-start.sh config/server.properties
- 后台运行 kafka命令:bin/kafka-server-start.sh -daemon config/server.properties(切到kafka文件下)
2.查询kafka命令
- 创建topic(4个分区,2个副本): bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test
- kafka版本 >= 2.2: bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
- 分区扩容 kafka版本 < 2.2: bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2
- kafka版本 >= 2.2: bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic topic1 --partitions 2
- 删除topicbin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test
- 查询集群描述: bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181
- 查询集群描述二:bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic foo --describe
- topic列表查询: bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
3.kafka生产、消费
- 生产 bin/kafka-console-producer.sh --broker-list ******:9092 --topic test --producer.config config/producer.properties
- 消费 bin/kafka-console-consumer.sh --bootstrap-server *******:9092 --topic test --from-beginning --consumer.config config/consumer.properties
4.kafka出现返回值1000的时候
- 第一:看一下kafka是否链接成功
- 第二:去kafka文件中config文件里找到server.properties文件,看一下listeners是否打开,listeners=PLAINTEXT://安装kafka的ip:9092
- 第三:删除kafkalog日志,默认配置到tmp/kafka-logs 都删了
- 第四:重启kafka和zookeeper 先停掉kafka,在停掉zookeeper
5.检查是否被占用:lsof -n -i :9092 | grep LISTEN
6.kafka杀死进程
[root@node3 ~]
10901 Jps
9146 Kafka
2587 NodeManager
2380 DataNode
[root@node3 ~]