kafka 1.0集群搭建

安装包：kafka_2.11-1.0.0.tgz
下载地址：http://kafka.apache.org/downloads

1.配置免密登录（可选择配置）
2.搭建zookeeper集群
3.上传kafka安装包
4.解压安装包

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local

5.修改配置文件 config/server.properties

    broker.id=0  标示符(多台服务器标示符0,1,2,3，...依次增长)
    host.name=slave6 绑定的主机
    log.dirs=/home/kafka/tmp/kafka-logs  数据保存的位置
    log.retention.hours=168  数据的保留时间
    zookeeper.connect=master:2181,slave1:2181,slave2:2181

    broker.id=1  标示符(多台服务器标示符0,1,2,3，...依次增长)
    host.name=slave7 绑定的主机
    log.dirs=/home/kafka/tmp/kafka-logs  数据保存的位置
    log.retention.hours=168  数据的保留时间
    zookeeper.connect=master:2181,slave1:2181,slave2:2181

6.配置环境变量

vi /etc/profile

export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0
export PATH=$PATH:$KAFKA_HOME/bin

7.使环境变量生效
source /etc/profile

8.测试集群是否搭建成功
a.启动zookeeper集群
b.启动服务的命令

nohup kafka-server-start.sh /usr/local/kafka_2.11-1.0.0/config/server.properties &

c.创建主题

kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic kafka

d.查看当前有哪些主题：

kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

9.模拟发送数据

kafka-console-producer.sh --broker-list slave6:9092,slave7:9092  --topic kafka

10.消费数据：

kafka-console-consumer.sh  --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning --topic kafka

在模拟发送数据窗口输入，就会看到在消费端有相应的数据。