======= kafka ===================
安装配置:
解压: opt]# tar -zxvf soft/kafka_2.10-0.10.0.1.tgz
重命名:opt]# mv kafka_2.10-0.10.0.1/ kafka
添加KAFKA_HOME至环境变量:/etc/profile
配置相关参数:$KAFKA_HOME/config/server.properties
主要参数:broker.id、log.dirs、zookeeper.connect
broker.id=0
log.dirs=/opt/kafka/data/ [kafka数据的存放目录]
zookeeper.connect=master:2181,slave01:2181,slave02:2181
kafka实例broker监听默认端口9092,配置listeners=PLAINTEXT://:9092
启动:
$KAFKA_HOME/bin/kafka-server-start.sh [-daemon] ../config/server.properties
-daemon 可选,表示后台启动kafka服务
Kafka用到了Zookeeper,所有首先启动Zookper,下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号,这样就可以启动后离开控制台。
#bin/zookeeper-server-start.sh config/zookeeper.properties &
现在启动Kafka:
#bin/kafka-server-start.sh ../config/server.properties
创建一个叫做“flume”的topic,它只有一个分区,一个副本。
#bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic flume
报错: replication factor: 1 larger than available brokers: 0
是因为没启动kafka
可以通过list命令查看创建的topic:
#bin/kafka-topics.sh --list --zookeeper master:2181
====== 安装kafka完成,下一章sqoop安装======