最近刚进公司在学spark streaming 相关的知识,所以先把相关的flume、Kafka等学习下,下面给出在安装 启动过程中出现的问题以及解决方法。
一、Kafka安装
(1)apache官网可以下载zookeeper和Kafka,然后解压就可以
(2)gedit ./bashrc 命令配置环境变量, 执行source ./bashrc 使文件生效
二、启动Kafka
执行语句
$KAFKA_HOME/bin/kafka-server-start.sh config/server.properties
遇到问题及解决方法:
(1)内存报错;
解决办法:修改Kafka-server-start.sh 文件,将Xmx1G-Xms1G修改为Xmx256M-Xms128M
(2) 未知的名称或服务
解决办法:修改config/server.properties文件,host.name改为虚拟机IP地址即可
(3)无法启动:ZKTimeoutException:unable connect to zookeeper server within timeout:6000
解决办法:host.name 改为本机IP
以上是本人在启动Kafka中遇到的问题。
三、Kafka基本命令
(1)、创建topic
Kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test
(2)、查看所以topic的信息
Kafka-topics.sh --list --zookeeper localhost:2181
(3)、查看指定topic的详细信息
Kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
(4)、生产消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
(5)、消费消息
kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning