kafka部署模式

1)单broker模式
2)单机多broker模式 (伪集群)
3)多机多broker模式 (真正的集群模式)
第一种单broker模式
    2. 解压Kafka:tar xvf  kafka_2.9.1-0.8.2.1.tgz  解压到/usr/local
    3. 修改配置文件:
                config/zookeeper.properties
                        1)dataDir=/usr/local/kafka/tmp/zookeeper/
                        2)clientPort=2181
                 config/server.properties
                        1)log.dirs=/usr/local/kafka/tmp/kafka-logs
    4. 启动服务
                1)启动zookeeper服务
                        bin/zookeeper-server-start.sh  config/zookeeper.properties > tmp/zookeeper.log  2>&1 &
                2)启动kafka服务
                          bin/kafka-server-start.sh  config/server.properties > tmp/kafka.log  2>&1 &
                3)查看启动是否成功      jps
                        
 
    5. Topic
            1)创建主题(test),一个分区、一个副本
                    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1  --partitions  1  --topic   test
            2)查看所有topic
                    bin/kafka-topics.sh  --list  --zookeeper  localhost:2181
            3)查看一个主题( test)详情
                    bin/kafka-topics.sh  --describe --zookeeper localhost:2181  --topic test
                    test主题和mall主题详情:  第一行是所有Partition的总结。后面的行是每个partition一行。   
            
            4)删除主题
                    bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test --zookeeper localhost:2181
    6.创建生产者
            bin/kafka-console-producer.sh --broker-list localhost:9092  --topic test
    7.创建消费者
             bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test  --from-beginning  
第二种单机多broker模式    
        1. 修改配置文件:
                config/zookeeper.properties(和第一种一样)
                config/server.properties,复制一个server1.properties和server2.properties
                修改server1.properties
                        1) broker.id=1
                        2)port=9093
                        3)log.dirs=/usr/local/kafka/tmp/kafka1-logs
                修改server2.properties
                          1) broker.id=2
                        2)port=9094
                        3)log.dirs=/usr/local/kafka/tmp/kafka2-logs
          2 . 启动服务
                1)启动zookeeper服务
                        bin/zookeeper-server-start.sh  config/zookeeper.properties > tmp/zookeeper.log  2>&1 &
                2)启动kafka服务
                         bin/kafka-server-start.sh  config/server.properties > tmp/kafka.log  2>&1 &
                         bin/kafka-server-start.sh  config/server1.properties > tmp/kafka1.log  2>&1 &
                         bin/kafka-server-start.sh  config/server2.properties > tmp/kafka2.log  2>&1 &
                3)查看启动是否成功     jps
                        
第三种多机多broker模式
        主机列表为:192.168.30.104、192.168.30.105、192.168.30.106
         1. 修改配置文件:
                config/zookeeper.properties
                         1) dataDir=/usr/local/kafka/data
                        2)tickTime=2000
                        3)initLimit=5
                        4)syncLimit=2
                        5)zookeeper主机列表清单
                            server.104=192.168.30.104:2888:3888
                            server.105=192.168.30.105:2888:3888
                            server.106=192.168.30.106:2888:3888
                             
 
                        需要在 /usr/local/kafka/data/中新建myid文件,
                            192.168.30.104主机内容为104
                            192.168.30.105主机内容为105
                            192.168.30.106主机内容为106
 
                config/server.properties,复制一个server1.properties和server2.properties
                修改server1.properties
                        1) broker.id=***
                             192.168.30.104主机 内容为104
                            192.168.30.105主机内容为105
                            192.168.30.106主机内容为106
                        2)host.name=192.168.30.106
                            192.168.30.104主机内容为192.168.30.104
                            192.168.30.105主机内容为192.168.30.105
                            192.168.30.106主机内容为192.168.30.106
                        3)log.dirs=/usr/local/kafka/tmp/kafka-logs
                        4)num.partitions=2
                        5)zookeeper.connect=192.168.30.104:2181,192.168.30.105:2181,192.168.30.106:2181
             
         2. 启动服务
                1)启动zookeeper服务(依次启动3台主机)
                        bin/zookeeper-server-start.sh  config/zookeeper.properties > tmp/zookeeper.log  2>&1 &
                2)启动kafka服务(依次启动3台主机)
                         bin/kafka-server-start.sh  config/server.properties > tmp/kafka.log  2>&1 &
                3)查看启动是否成功     jps
 
        3. Topic
             1)创建主题(test),2个分区、3个副本
                    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3  --partitions  2  --topic   mall
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值