安装运行kafka

第一步:解压安装包
	[root@hadoop2 home]# tar -zxvf /home/kafka_2.11-0.9.0.1.tgz -C /usr/local/
kafka_2.11-0.9.0.1/
	修改文件名
	mv /home/kafka_2.11-0.9.0.1.tgz /home/kafka-0.9.0.1/
第二步:备份原始的需要修改的三个文件
[root@hadoop2 config]# mv producer.properties producer.properties.bak
[root@hadoop2 config]# mv consumer.properties consumer.properties.bak
[root@hadoop2 config]# mv server.properties server.properties.bak
第三步:修改producer.properties,
	[root@hadoop2 kafka_0.9.0.1]# vi ./config/producer.properties
		指定kafka节点的元数据
		metadata.broker.list=hadoop2:9092,hadoop3:9092:hadoop4:9092
	[root@hadoop2 kafka_0.9.0.1]# vi ./config/consumer.properties
		指定zookeeper连接服务器的地址
		zookeeper.connect=hadoop2:2181,hadoop3:2181,hadoop4:2181
	[root@hadoop2 kafka_0.9.0.1]# vi ./config/server.properties
		broker的全局唯一编号，不能重复(记住每一天机器的编号都不一样,可分别为1,2,3)
		broker.id=0
		#kafka消息存放的路径(指定消息处存放路径,不存在会自动创建)
		log.dirs=/usr/local/kafka_0.9.0.1/logs/kafka
		#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer con        nection to localhost:9092 unsuccessful 错误!
        host.name=hadoop2(每天机器不一样,,为自己的主机地址)
第四步:分发
	[root@hadoop2 kafka_0.9.0.1]# scp -r /usr/local/kafka_0.9.0.1/ hadoop3:/usr.local/
	[root@hadoop2 kafka_0.9.0.1]# scp -r /usr/local/kafka_0.9.0.1/ hadoop4:/usr.local/
第五步:更改分发之后两台主机的信息
	vi ./config/server.properties 中的两个地方
	broker.id=0(最好按顺序进行编号)
	host.name=hadoop2(每天机器不一样,,为自己的主机地址)


启动集群:
	依次在各节点上启动kafka
	nohup ./bin/kafka-server-start.sh ./config/server.properties &

	
查看当前服务器中的所有topic
bin/kafka-topics.sh --list --zookeeper node01:2181
l	创建topic
bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic test
l	删除topic
bin/kafka-topics.sh --delete --zookeeper node01:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
l	通过shell命令发送消息
bin/kafka-console-producer.sh --broker-list node01:9092 --topic test1
l	通过shell消费消息
bin/kafka-console-consumer.sh --zookeeper node01:2181 --from-beginning --topic test1
l	查看消费位置
bin/kafka-run-class.sh kafka.tools.ConsumerOffs