Kafka安装与验证

把kafka_2.11-0.10.1.0.tgz上传到/usr/hadoop目录下：

1、上传命令：rz
2、解压：tar -zxvf kafka_2.11-0.10.1.0.tgz
3、配置环境变量 /etc/profile
4、使环境变量生效source /etc/profile
5、复制两份server.properties
cp server.properties server1.properties
cp server.properties server2.properties
6、修改/kafka_2.11-0.10.1.0/config下的server1.properties
vi server1.properties

（server2.properties对应的broker.id=2,listeners=PLAINTEXT://:9094，log.dirs=/tmp/kafka-logs-2）依此类推，子节点slaver1下为server3.properties， server4.properties；子节点slaver2下为server5.properties， server6.properties

查看是否安装成功
开启zookeeper zkServer.sh start
再开启kafka
进入到kafka_2.11-0.10.1.0/config
执行命令：kafka-server-start.sh server1.properties &
kafka-server-start.sh server2.properties &

停止kafka的命令：

kafka-server-stop.sh server1.properties &
kafka-server-stop.sh server2.properties &

创建一个topic

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

kafka创建topic命令:有10个分区

kafka-topics.sh --create --topic message --replication-factor 1 --partitions 10 --zookeeper localhost:2181

可以看到再server1上创建了：0、2、4、6、8

在server2上创建了：1、3、5、7、9

Kafka TopicName 查看

kafka-topics.sh --list --zookeeper localhost:2181

Kafka TopicName 删除

kafka-topics.sh --zookeeper localhost:2181 --topic message --delete

kafka 删除topic 提示marked for deletion

并没有真正删除，如果要真正删除

在每一台机器中的kafka_2.10/config/server.properties 文件加入  delete.topic.enable=true（默认是注释掉的）

vi config/server.properties 
delete.topic.enable=true 

最后所有机器重新启动kafka

delete.topic.enable=true已经生效，不用再次删除，查看

#kafka生产者命令

kafka-console-producer.sh --broker-list localhost:9093 --topic test

回车，在下面写字，回车后，消费端就可以查看到信息

#kafka消费者命令

kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic test --from-beginning

查看指定主题： 

kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

ps aux | grep server-1.properties

更多例子操作参考官网：http://kafka.apache.org/quickstart