Kafka操作及原理

9、Kafka集群操作

9.1、kafka集群操作-控制台操作

9.1.1、创建一个Topic

创建了一个名字为test的主题， 有三个分区，有两个副本

node02执行以下命令来创建topic

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --create --zookeeper node02:2181 --replication-factor 2 --partitions 3 --topic test

9.1.2、查看主题命令

查看kafka当中存在的主题

node02使用以下命令来查看kafka当中存在的topic主题

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh  --list --zookeeper node02:2181,node03:2181,node04:2181

9.1.3、生产者生产数据

模拟生产者来生产数据

node02服务器执行以下命令来模拟生产者进行生产数据

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-console-producer.sh --broker-list node02:9092,node03:9092,node04:9092 --topic test

9.1.4、消费者消费数据

node03服务器执行以下命令来模拟消费者进行消费数据

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node02:2181,node03:2181,node04:2181

9.1.5、运行describe topics命令

node02执行以下命令运行describe查看topic的相关信息

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --describe --zookeeper node02:2181 --topic test

结果说明：

这是输出的解释。第一行给出了所有分区的摘要，每个附加行提供有关一个分区的信息。由于我们只有一个分 区用于此主题，因此只有一行。

“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的领导者。（因为在kafka中 如果有多个副本的话，就会存在leader和follower的关系，表示当前这个副本为leader所在的broker是哪一个）

“replicas”是复制此分区日志的节点列表，无论它们是否为领导者，或者即使它们当前处于活动状态。（所有副本列表 0 ，1,2）

“isr”是“同步”复制品的集合。这是副本列表的子集，该列表当前处于活跃状态并且已经被领导者捕获。（可用的列表 数）

9.1.6、修改topic属性

9.1.6.1、增加topic分区数

任意kafka服务器执行以下命令可以增加topic分区数

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicName --partitions 8

9.1.6.2、增加配置

动态修改kakfa的配置

任意kafka服务器执行以下命令可以增加topic分区数

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic test --config flush.messages=1

9.1.6.3、删除配置

动态删除kafka集群配置

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic test --delete-config flush.messages

9.1.6.4、删除topic

目前删除topic在默认情况下知识打上一个删除的标记，在重新启动kafka后才删除。如果需要立即删除，则需要在

server.properties中配置：

delete.topic.enable=true

然后执行以下命令进行删除topic

kafka-topics.sh --zookeeper zkhost:port --delete --topic topicName

9.2、kafka集群操作-JavaAPI操作

9.2.1、添加依赖

创建maven工程并添加以下依赖jar包的坐标到pom.xml

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version> 0.10.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-streams</artifactId>
        <version>0.10.0.0</version>
    </dependency>

</dependencies>

<build>
    <plugins>
        <!-- java编译插件 -->
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <encoding>UTF-8</encoding>
            </configuration>
        </plugin>
    </plugins>
</build>

9.2.2、生产者代码

/**

\* 订单的生产者代码，

*/

public class OrderProducer {
   
    public static void main(String[] args) throws InterruptedException {
   
        Properties props = new Properties();
        props.put("bootstrap.servers", "node02:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);
        for (int i = 0; i < 1000; i++){
   
            kafkaProducer.send(new ProducerRecord<String,String>("order","订单"+i));
            Thread.sleep(1000);
        }
        
        //kafkaProducer.flush();
        //kafkaProducer.close();
    }
}

9.2.3、消费者代码

使用消费者进行消费kafka当中的数据

/**

\* 消费订单数据--- javaben.tojson

*/

public class OrderConsumer {
   

public static void main(String[] args) {
   

// 1\连接集群

	Properties props = new Properties(); 
    props.