kafka入门（一）

1、kafka是什么？ 

（1）消息中间件

（2）一种高吞吐量的分布式发布订阅消息系统

（3）一个分布式的、分区的、可靠的分布式日志存储服务

2、kafka的特点与不足

       (1)  特点：1、高吞吐量、低延迟            

                         2、可扩展性          

                        3、持久性、可靠性、容错性          

                        4、支持数千个客户端同时读写          

                        5、对cpu和内存消耗较小          

                        6、对网络开销相对较小

          (2)不足：1、批量发送，数据并非真正的实时            

                          2、仅支持统一分区内消息有序，无法实现全局消息有序        

                          3、监控不完善，需要安装插件

3、kafka的应用场景

        (1)日志系统

      （2）消息系统

      （3）用户活动的跟踪

      （4）运营指标

4、kafka的常用语概念

1、话题（Topic）:其实就是消息的分类名或种子（Feed）名

2、生产者（Producer）:是能够发布消息到话题的任何对象

3、服务代理（Broker）:已发布的消息保存在一组服务器中，它们被称为代理（Broker）或kafka集群

4、消费者（Consumer）：可以订阅一个或多个话题，从Broker拉取数据，消费这些已发布消息

5、分区（Partition） 每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件

5、kafka使用的常用操作命令

1、启动服务：bin/kafka-server-start.sh config/server.properties

2、创建topic:  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

3、查看topic:  bin/kafka-topics.sh --list --zookeeper  localhost:2181

4、删除topic：bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

5、发送消息: kafka-console-producer.sh --broker-list localhost:9092 --topic test

6、接收消息：./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

7、查看分组 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

8、查看消费位置 ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test

9、查看某个Topic的详情 kafka-topics.sh --topic test --describe --zookeeper localhost:2181

10、修改分区 ./kafka-topics.sh --zookeeper localhost:2181 -alter --partitions 15 --topic test

6、kafka客户端代码实现（Java）

(1)依赖包

<dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-clients</artifactId>
      <version>0.10.1.0</version>
</dependency>

（2）生产客户端（producer）

Properties props = new Properties();
 props.put("bootstrap.servers", "localhost:9092");
 props.put("acks", "all");
 props.put("retries", 0);
 props.put("batch.size", 16384);
 props.put("linger.ms", 1);
 props.put("buffer.memory", 33554432);
 props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
 props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

 Producer<String, String> producer = new KafkaProducer<>(props);
 for(int i = 0; i < 100; i++)
     producer.send(new ProducerRecord<String, String>("test", Integer.toString(i), Integer.toString(i)));

 producer.close();

(3)消费客户端（consumer）

     Properties props = new Properties();
     props.put("bootstrap.servers", "localhost:9092");
     props.put("group.id", "test");
     props.put("enable.auto.commit", "true");
     props.put("auto.commit.interval.ms", "1000");
     props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
     props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
     KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
     consumer.subscribe(Arrays.asList("test"));
     while (true) {
         ConsumerRecords<String, String> records = consumer.poll(100);
         for (ConsumerRecord<String, String> record : records)
             System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
     }