安装配置Kafka

1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz
2,修改/etc/profile文件,增加KAFKA_HOME变量
3,进入KAFKA_HOME/config目录
(1)修改server.properties文件
broker.id=0
host.name=master(在slave1中,master-->slave1)
log.dirs=/datastore/ kafka/logs(建立该目录)
zookeeper.connect=master:2181,slave1:2181,slave2:2181
(2)修改zookeeper.properties文件
dataDir=/datastore/zookeeper/data(建立该目录)
4,复制到其他节点
cd /usr/local
scp -rq  kafka-0.8.2.1 slave1:/usr/local
scp -rq  kafka-0.8.2.1 slave2:/usr/local
进入slave1和slave2修改server.properties文件

安装完毕,进行测试:
1,首先在各节点上启动zookeeper
    zkAll.sh start(该脚本乃本人在master节点ZOOKEEPER_HOME/bin目录下自定义的脚本,用于同时启动集群中所有节点上的zookeeper)
2,在各节点上启动kafka,
      kafka-server-start.sh $KAFKA_HOME/config/server.properties    
     
3,在master上新建一个TOPIC,
     kafka-topics.sh --create --topic test --replication-factor 3 --partitions 2 --zookeeper master:2181
4,在slave1上开一个端口发生消息至kafka(slave1模拟producer)
     kafka-console-producer.sh --broker-list slave1:9092 --sync --topic test
5,在slave2上,开一个端口显示消息的消费(slave2模拟consumer)
     kafka-console-consumer.sh --zookeeper slave2:2181 --topic test --from-beginning
可以为一个producer创建多个consumer对应
6,在slave1的终端输入内容,this xxxx

其中的Hello Kafka是上一次在test topic中进行测试时的输入.


连接两个consumer:

转载于:https://www.cnblogs.com/wuyida/p/6300265.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值