kafka安装及测试

忘记在哪里看到的但是感觉解释的很好。

• zookeeper 协调转发
•  producers通过网络将消息发送到Kafka集群，集群向消费者提供消息
• kafka对消息进行归纳，即topic，也就是说producer发布topic,consumer订阅topic

消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。

ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。

iii. producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。 （由此可见zookeeper和kafka是密不可分的）

iv. broker端不维护数据的消费状态，提升了性能。

v. 直接使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。

安装zookeeper和kafka：

      我的是三个虚拟机

           192.168.32.129 master

           192.168.32.130 slave01

           192.168.32.131 slave02

    1:下载zookeeper的包解压在master下的某个位置下

    2:安装zookeeper：

                   修改conf/zoo_sample.cfg的内容  vim  conf/zoo_sample.cfg

                   dataDir=zookeeper目录/zkdata（zookeeper 目录下建zkdata）

              添加

                          server.1=master:2888:3888

                          server.2= slave01:2888:3888

                          server.3= slave02:2888:3888

            保存退出 ：wq

        修改zoo_sample.cfg的文件名为zoo.cfg

        形成myid文件到中看到他文件夹下输入：echo "1" > zookeeper目录/zkdata/myid

     拷贝整个zookeeper文件到其他两台服务上,修改另外两份里面的  zkdata/myid文件里面 的数字，分别为2,3，zookeeper配置完成

3：安装kafka

        下载，解压kafka文件在自己选定的位置

     修改profile;  vim /etc/profile

              export KAFKA_HOME=kafka解压位置

              export PATH=$PATH:$KAFKA_HOME/bin

              export ZOOKEEPER_HOME=zookeeper解压位置

              export PATH=$PATH:$ZOOKEEPER/bin

   使修改生效 ：source /etc/profile

   授权：

          chown -R hadoop:hadoop kafka位置

         chown -R hadoop:hadoop zookeeper位置

由于zookeeper上面是集群：

所以要修改文件config/server.properties  

zookeeper集群的地址，可以是多个，多个之间用逗号分割 hostname1:port1,hostname2:port2,hostname3:port3

里zookeeper.connect=192.168.32.129:2181,192.168.32.130:2181,192.168.32.131:2181 

也要将kafka 复制到其他两台服务器上

启动和停止操作：全在kafka下面启动：

       启动Zookeeper server：

       bin/zookeeper-server-start.sh config/zookeeper.properties &  
          &是为了能退出命令行
      启动Kafka server:

      bin/kafka-server-start.sh config/server.properties &  
     停止Kafka server

    bin/kafka-server-stop.sh  
    停止Zookeeper server:

    bin/zookeeper-server-stop.sh

4：测试kafka，

在192.168.32.129运行producer：从文件中或者从标准输入中读取消息并发送到服务端，指定的Socket(192.168.32.129+9092),说明生产者的消息要发往kafka，也即是broker

       bin/kafka-console-producer.sh --broker-list 192.168.32.129:9092 --topic test

输入要传递的文字：wwww

在192.168.32.130/131上运行consumer：consumer, 指定的Socket(192.168.32.129+2181),说明消费者的消息来自zookeeper（协调转发）

      bin/kafka-console-consumer.sh --zookeeper 192.168.32.129:2181 --topic test --from-beginning