搭建kafka集群

                 创建kafka集群    

      集群规划：1）由于我们使用的是自己的zookeeper进行节点之间的通信，搭建kafka前，zookeeper集群运行。在搭                              建kafka之前，我让hadoop集群和zookeeper集群都运行。

                      2）十二个节点全部用上，由于kafka没有主节点，topic是随机分配的。

  搭建前：上网查看资料可以知道，kafka的搭建并不麻烦。麻烦的是调优。

                   搭建kafka需要配置的有:                

                       1）环境变量        KAFKA_HOME     PATH

                        2）kafka的配置文件server.properties    需要配置broker.id、hostname、log.dirs、zookeeper.connect

  

  开始搭建： 

            1、下载kafka压缩文件，并重命名  
         tar xfz kafka_2.11-0.8.2.2.tgz                          #这里我解压到/usr/local/下
                 mv kafka_2.11-0.8.2.2 kafka-2.11                    #重命名

            2、配置文件
     1）在文件server.properties里修改
   broker.id=       #整数，建议根据ip区分。只要集群中这个数不重复就行了，
 m1、m2、rm1、rm2、d1、d2、d3、d4、d5、d6、s1、s2分别对应
 1        2       3        4       5     6      7      8      9     10   11  12
 
       log.dirs=/usr/local/kafka-2.11/kafka-data    #建立文件夹kafka-data，并在这指明其路径
      host.name=m1    #在不同的节点上写不同的名字，eg:在节点m1上写m1
     advertised.host.name=m1  #在不同的节点上写不同的名字，eg:在节点m1上写m1

socket.send.buffer.bytes=1048576      #socket的发送缓冲区，原来为100*1024
  socket.receive.buffer.bytes=1048576    #socket的接收缓冲区，原来为100*1024
socket.request.max.bytes=104857600    #这个值没变，以后需要调的话再说

zookeeper.connect=d1:2181,d2:2181,d3:2181,d4:2181,d5:2181

注意：更改不同的节点的broker.id和hostname

           2）启动kafka

           在每台机器上执行： bin/kafka-server-start.sh -daemon config/server.properties &
   尾部加上&的作用是可以启动完之后直接按 回车 退出，继续下一步操作。

 关闭kafka
    在每台机器上执行： bin/kafka-server-start.sh  config/server.properties &

    3) 创建topic
    
 bin/kafka-topics.sh --create --zookeeper d3:2181,d1:2181,d2:2181,d4:2181,d5:2181 --replication-factor 1 --partitions 1 --topic test
 
         4)   查看Topic
       bin/kafka-topics.sh --list --zookeeper d3:2181,d1:2181,d2:2181,d4:2181,d5:2181
     
         5)  producer发送消息(假设我们在m1上，开一个终端，发送消息至kafka（m1模拟producer）)
             bin/kafka-console-producer.sh --broker-list m1:9092 --topic test    ##这里的m1可以是任何节点名称

    在发送消息的终端输入：Hello Kafka      
         6）consumer接收消息 (假设我们在m2上，开一个终端，显示消息的消费（m2模拟consumer）)
      bin/kafka-console-consumer.sh --zookeeper d3:2181,d1:2181,d2:2181,d4:2181,d5:2181 --topic test --from-beginning
  

“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”                2016.07.27

    kafka集群已经搭建好，今天改了配置两个地方，一个是hostname等号后面换成了主机的IP，另一个advertised.host.name=的值也是换成了对应的主机IP

   另外，producer发送消息，通过更改指令中的 m1:9092，已经可以工作。

“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“”“‘’”   

            2016.07.28

         今天早上起来发现昨天kafka集群的进程全部死掉。

在网上查找相关资料，有个这样一个“在控台启动了kafka之后，关闭控台后，集群就也关闭了“”  

            答案是：开启kafka的命名中加上 -daemon 就行了，即

            bin/kafka-server-start.sh   -daemon  config/server.properties &

            ok ,刚才重启了下终端，jps查看进程。kafka进程还在。问题解决

   又来问题了，我之前一直是在创建topic，但是从没有删除过，删除命令我并不知道，查了下

           删除命令是bin/kafka-topics.sh --zookeeper d1:2181,d2:2181,d3:2181,d4:2181,d5:2181 --topic topicname  --delete 

      但是呢，出现这样的提示

      Topic  test is marked for deletion.    #这里test是我创建的topic名字

   Note: This will have no impact if delete.topic.enable is not set to true.

   解决办法：通过在配置文件sever.property中添加delete.topic.enable=true，然后重启kafka集群，就可以了完全删除   了。查看topic时，已经不能看到删除的topic了。