Kafka集群搭建

----------------------------------------------------------KafKa环境的搭建-------------------------------------
1.需要安装JDK1.8以上
2.安装zk集群
3.安装kafka
4.核心配置文件：
    consumer.properties  #配置消费者属性
    producer.properties  # 生产者属性
    server.properties    #服务broker消息
    zookeeper.properties #zk属性

5.配置：
    vi  server.properties   #服务broker消息
    broker.id=0 （kafka节点ID，必须是唯一）
    # mkdir /home/hadoop/kafka_2.11_0.9/logdir
    log.dirs=/home/hadoop/apps/kafka_2.11_0.9/logdir  （kafka日志存放目录）
    log.retention.hours=168 （消息保存最长的时间）
    log.segment.bytes=1073741824 （每一个segment文件的大小，默认是1G，可以更改）
    zookeeper.connect=bigdata:2181,bigdata1:2181,bigdata:2181 （kafka 连接zk的信息，必须配置）
    delete.topic.enable=true （kafka 的topic是否物理删除，true-物理删除，false-逻辑删除）
    host.name=bigdata （各个kafka节点的主机名）
    
    #无注释版：
    broker.id=0
    log.dirs=/home/hadoop/apps/kafka_2.11_0.9/logdir
    log.retention.hours=168
    log.segment.bytes=1073741824
    zookeeper.connect=bigdata:2181,bigdata1:2181,bigdata2:2181
    delete.topic.enable=true
    host.name=bigdata
    
6.配置完成，将kafka框架发送到其他节点
    scp -r kafka_2.11_0.9 hadoop@bigdata1:/home/hadoop/apps
    scp -r kafka_2.11_0.9 hadoop@bigdata2:/home/hadoop/apps
  发送完成之后，修改每个节点上的broker.id为唯一值！！host.name为当前节点的主机名！！！
  hdp-qm-06：
vi server.properties
broker.id=6
host.name=hdp-qm-06

hdp-qm-0：
vi server.properties
broker.id=7
host.name=hdp-qm-07
 
7.修改环境变量：
    export KAFKA_HOME=/home/hadoop/apps/kafka_2.11_0.9
    :$KAFKA_HOME/bin

8.发送环境变量配置文件到其他节点：
    sudo scp /etc/profile root@bigdata1:/etc/
    sudo scp /etc/profile root@bigdata2:/etc/
---------------------------启动KafKa------------------------  
9.启动Kafka环境：
    1.启动zk集群
    2.启动Kafka：
        方式一： 前台线程启动方式启动kafka
            kafka-server-start.sh /home/hadoop/apps/kafka_2.11_0.9/config/server.properties
        方式二：后台守护进程方式启动：
            分别在三台服务器上执行
            nohup kafka-server-start.sh /home/hadoop/apps/kafka_2.11_0.9/config/server.properties &
10.到三台服务器上jps查看：是否有Kafka
---------------------------关闭KafKa------------------------  
11.关闭kafka
        后台守护进程方式关闭
            nohup kafka-server-stop.sh /home/hadoop/apps/kafka_2.11_0.9/config/server.properties &