Kafka --Kafka编程实战-java客户端开发例子

本入门教程，涵盖Kafka核心内容，通过实例和大量图表，帮助学习者理解，任何问题欢迎留言。

目录：

• kafka简介
• kafka安装和使用
• kafka核心概念
• kafka核心组件和流程--控制器
• kafka核心组件和流程--协调器
• kafka核心组件和流程--日志管理器
• kafka核心组件和流程--副本管理器
• kafka编程实战

本章通过实际例子，讲解了如何使用java进行kafka开发。

 

准备

添加依赖：

 
 
 

  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
     <dependency>
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     <groupId>org.apache.kafka
     
     
     </groupId>
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     <artifactId>kafka-clients
     
     
     </artifactId>
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     <version>2.0.0
     
     
     </version>
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
     </dependency>
    
    
    
   
   
   
 
 
 
 

创建主题

下面是创建主题的代码：

 
 
 

  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
     public 
     
     
     class TopicProcessor {
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     private 
     
     
     static 
     
     
     final String ZK_CONNECT=
     
     
     "localhost:2181";
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     private 
     
     
     static 
     
     
     final 
     
     
     int SESSION_TIME_OUT=
     
     
     30000;
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     private 
     
     
     static 
     
     
     final 
     
     
     int CONNECT_OUT=
     
     
     30000;
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
 
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     public static void createTopic(String topicName,int partitionNumber,int replicaNumber,Properties properties){
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
             ZkUtils zkUtils = 
     
     
     null;
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
        
     
     
     try{
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
                 zkUtils=ZkUtils.apply(ZK_CONNECT,SESSION_TIME_OUT,CONNECT_OUT, JaasUtils.isZkSecurityEnabled());
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
            
     
     
     if(!AdminUtils.topicExists(zkUtils,topicName)){
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
                  AdminUtils.createTopic(zkUtils,topicName,partitionNumber,replicaNumber,properties,AdminUtils.createTopic$
     
     
     default$
     
     
     6());
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
                 }
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
             }
     
     
     catch (Exception e){
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
                 e.printStackTrace();
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
             }
     
     
     finally {
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
                 zkUtils.close();
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
             }
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    

     
     
         }
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
 
    
    
    
   
   
   
  

   
   
   

    
    
    

   
   
   
   
   
   

    
    
    
    
     
     
     public static void main(String[] args){