kafka_2.10-0.8.2.1集群搭建和简单使用-CSDN博客

1.解压kafka
tar -zxvf kafka_2.10-0.8.2.1 -C /software

2.1在hadoop节点修改配置文件
config/server.properties
       broker.id=0 #代理的id
       host.name=hadoop #主机名
log.dirs=log.dirs=/usr/local/software/kafka_2.10-0.8.2.1/kfkdata #日志存放地址
       num.partitions=2 #设置分区数据
       zookeeper.connect=hadoop:2181,hadoop1:2181,hadoop2:2181 #设置zookeeper地址

2.2将kafka_2.10-0.8.2.1解压文件复制到其他节点
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop1:/usr/local/software
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop2:/usr/local/software

2.3.1在hadoop1节点修改
   /usr/local/software/config/server.properties
           broker.id=1 #代理的id
           host.name=hadoop1 #主机名

2.3.2在hadoop2节点修改
   /usr/local/software/config/server.properties
           broker.id=2 #代理的id
           host.name=hadoop2 #主机名

启动kafka（在启动zookeeper基础上）
      bin/kafka-server-start.sh config/server.properties #每个broker都要启动
后台启动
     nohup kafka-server-start.sh config/server.properties &
创建一个叫test的主题，
     bin/kafka-topics.sh --create --zookeeper hadoop:2181 --replication-factor 1 --partitions 1 --topic test
列出主题名字
     bin/kafka-topics.sh --list --zookeeper hadoop:2181
打开test主题的数据生产者
     bin/kafka-console-producer.sh --broker-list hadoop:9092 --topic test
打开test主题的主题消费者
    bin/kafka-console-consumer.sh --zookeeper hadoop:2181 --topic test --from-beginning

转载于:https://my.oschina.net/u/3271870/blog/839539