安装kafka及使用

======= kafka ===================
安装配置：

解压：  opt]# tar -zxvf soft/kafka_2.10-0.10.0.1.tgz
重命名：opt]# mv kafka_2.10-0.10.0.1/ kafka

添加KAFKA_HOME至环境变量：/etc/profile

配置相关参数：$KAFKA_HOME/config/server.properties
主要参数：broker.id、log.dirs、zookeeper.connect

broker.id=0
log.dirs=/opt/kafka/data/               [kafka数据的存放目录]
zookeeper.connect=master:2181,slave01:2181,slave02:2181
kafka实例broker监听默认端口9092，配置listeners=PLAINTEXT://:9092

启动：

$KAFKA_HOME/bin/kafka-server-start.sh [-daemon] ../config/server.properties 
	-daemon 可选，表示后台启动kafka服务

Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这样就可以启动后离开控制台。

#bin/zookeeper-server-start.sh config/zookeeper.properties &

现在启动Kafka:

#bin/kafka-server-start.sh ../config/server.properties

创建一个叫做“flume”的topic，它只有一个分区，一个副本。
#bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic flume

报错： replication factor: 1 larger than available brokers: 0
是因为没启动kafka

可以通过list命令查看创建的topic:
#bin/kafka-topics.sh --list --zookeeper master:2181

====== 安装kafka完成，下一章sqoop安装======