Kafka安装

• 安装

 

1. ​​​​下载kafka jar包  复制到/opt/software
2. 删除flume jar包（减少空间占用）
    rm -rf apacche-flume-1.7.0-bin.tar.gz
3. 解压
   tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module 
4. 修改名称
    cd module/    
   mv kafka_2.11-0.11.0.2/ kafka 

• 配置

   
       新建日志目录 cd /opt/module/kafka 
       mkdir logs cd logs/ 
       vim properties 
       修改配置文件server.properties
       如下：唯一标识  broker.id=0 
                                 delete.topic.enable=true 
                                 log.dirs=/opt/module/kafka/logs
                                 zookeeper.connect = hadoop102:2181,hadoop103:2181,hadoop104:2181,hadoop104:2181

        分发 xsync kafka 
         修改其他服务器 broker Id   
         vim server.properties  broker.id=2

• 启动

1. xcall.sh jps查看所以进程
2. 启动 bin/kafka-server-start.sh config/server.properties & 后台执行
3. 集群启动停止脚本 
   #! /bin/bash
   case $1 in 
   "start"){
       for i in hadoop102 hadoop103 hadoop104
     do 
       ssh $i "export JMX_PORT=9988 &&  /opt/module/kafka/bin/kafka-server-start.sh -daemon   /opt/module/kafka/config/server.properties"
   done};;
   “stop”){
     for i in hadoop102 hadoop103 hadoop104
     do 
       ssh $i " /opt/module/kafka/bin/kafka-server-stop.sh stop"
   done
   };;
   esac
   #JMX_PORT是监控端口 
4. 启用  
   文件授权chmod 777 kf.sh 
    kf.sh start 
     jps 
5. 查看是否有topic产生
   
   cd /opt/module bin/kafka-topics.sh --zookeeper hadoop102:2181 --list
   当flume启动之后，发现没有topic,会自动创建topic 
6. 测试生产消息和消费消息
   生产消息
   bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic topic_start
   消费消息
   bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic topic_start