Kafka 安装

kafka
    分布式流处理平台。
    在系统之间构建实时数据流管道。
    以topic分类对记录进行存储
    每个记录包含key-value+timestamp
    每秒钟百万消息吞吐量。

    producer            //消息生产者
    consumer            //消息消费者
    consumer group        //消费者组
    kafka server        //broker,kafka服务器
    topic                //主题,副本数,分区.
    zookeeper            //hadoop namenoade + RM HA | hbase | kafka
 

安装kafka

选择s202 ~ s204三台主机安装kafka

1.准备zk
        下载地址：http://kafka.apache.org/downloads
    2.jdk
        略
    3.解压文件
    4.环境变量

        export KAFKA_HOME=/soft/kafka
        export PATH=$PATH:$KAFKA_HOME/bin

    5.配置kafka
      

 [kafka/config/server.properties]
        ...
        broker.id=202
        ...
        listeners=PLAINTEXT://:9092
        ...
        log.dirs=/home/centos/kafka/logs
        ...
        zookeeper.connect=s201:2181,s202:2181,s203:2181

    6.分发server.properties，同时修改每个文件的broker.id

[s202]
broker.id=202
[s203]
broker.id=203
[s204]
broker.id=204

    7.启动kafka服务器
        a)先启动zk
        b)启动kafka
            [s202 ~ s204]         

/soft/kafka/bin/kafka-server-start.sh /soft/kafka/config/server.properties

        c)验证kafka服务器是否启动       

netstat -anop | grep 9092

8.创建主题         

kafka-topics.sh --create --zookeeper s201:2181 --replication-factor 3 --partitions 3 --topic test

    删除主题：

kafka-topics.sh  --zookeeper s201:2181 --delete --topic test

    9.查看主题列表
   

kafka-topics.sh --list --zookeeper s201:2181

    10.启动控制台生产者

kafka-console-producer.sh --broker-list s202:9092 --topic test

    11.启动控制台消费者
       

kafka-console-consumer.sh --bootstrap-server s202:9092 --topic test --from-beginning

    12.在生产者控制台输入hello world