Kafka过程分析、拦截器

最新推荐文章于 2024-03-14 12:48:56 发布

辛聪明

最新推荐文章于 2024-03-14 12:48:56 发布

阅读量276

点赞数

分类专栏： Hadoop生态圈文章标签： kafka

本文链接：https://blog.csdn.net/qq_41861558/article/details/102820199

版权

Hadoop生态圈专栏收录该内容

29 篇文章 0 订阅

订阅专栏

kafka入门教程（一）

一、Kafka生产过程分析

1、写入方式：

producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。

2、分区（Partition）

同一个topic属于一个目录，目录的下一级是分区

其中的每一个消息都是有序的，且被赋予了一个唯一的offset值。

3、分区的原则

（1）指定了patition，则直接使用；

（2）未指定patition但指定key，通过对key的value进行hash出一个patition

（3）patition和key都未指定，使用轮询选出一个patition。

4、副本（replication）

同一个partition可能会有多个replication（对应 server.properties 配置中的 default.replication.factor=N）。没有replication的情况下，一旦broker 宕机，其上所有 patition 的数据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和consumer只与这个leader交互，其它replication作为follower从leader 中复制数据。

5、写入流程

二、broker 保存消息

1、保存方式

物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件）

2、存储策略

无论消息是否被消费，kafka都会保留所有消息。有两种策略可以删除旧数据：

conf/server.properties

1）基于时间：log.retention.hours=168

2）基于大小：log.retention.bytes=1073741824

因为Kafka读取特定消息的时间复杂度为O(1)，即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关。

三、Kafka消费过程分析

高级API：代码简单、不需要管理offset，系统通过zookeeper自行管理，不需要管理分区，副本等情况，系统自动管理

低级API：太过复杂，能够开发者自己控制offset，想从哪里读取就从哪里读取，自行控制连接分区，对分区自定义进行负载均衡

1、消费者组

消费者是以consumer group消费者组的方式工作，由一个或者多个消费者组成一个组，共同消费一个topic。每个分区在同一时间只能由group中的一个消费者读取，但是多个group可以同时消费这个partition。在图中，有一个由三个消费者组成的group，有一个消费者读取主题中的两个分区，另外两个分别读取一个分区。某个消费者读取某个分区，也可以叫做某个消费者是某个分区的拥有者。

在这种情况下，消费者可以通过水平扩展的方式同时读取大量的消息。另外，如果一个消费者失败了，那么其他的group成员会自动负载均衡读取之前失败的消费者读取的分区。

2、消费方式

pull模式则可以根据consumer的消费能力以适当的速率消费消息。

四、拦截器(interceptor)

主要用于实现clients端的定制化控制逻辑。

对于producer而言，interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.kafka.clients.producer.ProducerInterceptor

拦截器案例：实现一个简单的双interceptor组成的拦截链。第一个interceptor会在消息发送前将时间戳信息加到消息value的最前部；第二个interceptor会在消息发送后更新成功发送消息数或失败发送消息数。

代码：1、时间拦截器

package interceptor;

import org.apache.kafka.clients.producer.ProducerInterceptor;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Map;

/**
 * 时间拦截器
 */
public class TimeInterceptor implements ProducerInterceptor<String,String> {

    // 拦截数据后，对数据加工处理
    @Override
    public ProducerRecord<String, String> onSend(ProducerRecord<String, String> record) {

        // 创建一个新的record，把时间戳写入消息体的最前部
        return new ProducerRecord(record.topic(), record.partition(), record.timestamp(), record.key(),
                //对value进行更改
                System.currentTimeMillis() + "," + record.value().toString());

}


    //该方法会在消息被应答之前或消息发送失败时调用，并且通常都是在producer回调逻辑触发之前。
    @Override
    public void onAcknowledgement(RecordMetadata recordMetadata, Exception e) {

    }

    //关闭interceptor，主要用于执行一些资源清理工作
    @Override
    public void close() {

    }

    //获取配置信息和初始化数据时调用
    @Override
    public void configure(Map<String, ?> map) {

    }
}

2、统计条数拦截器

package interceptor;

import org.apache.kafka.clients.producer.ProducerInterceptor;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

import java.util.Map;

/**
 * 统计发送消息成功和发送失败消息数，并在producer关闭时打印这两个计数器
 */
public class CounterInterceptor implements ProducerInterceptor {
    private int errorCounter = 0;
    private int successCounter = 0;

    @Override
    public ProducerRecord onSend(ProducerRecord producerRecord) {
        return producerRecord;
    }

    @Override
    public void onAcknowledgement(RecordMetadata recordMetadata, Exception e) {
        if(e == null){
            successCounter++;
        }else {
            errorCounter++;
        }
    }

    @Override
    public void close() {
        System.err.println("成功条数："+successCounter+"   失败条数"+errorCounter);
    }

    @Override
    public void configure(Map<String, ?> map) {

    }
}

3、主producer

package interceptor;

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

public class InterceptorProducer {

    public static void main(String[] args) throws Exception {
        // 1 设置配置信息
        Properties props = new Properties();
        props.put("bootstrap.servers", "hdp-2:9092");
        //all表示所有  producer将消息发送给leader-->follower-->保存在本地全过程
        // 1表示leader收到  0表示发过去就行
        props.put("acks", "all");

        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // 2 构建拦截链
        List<String> interceptors = new ArrayList<>();
        interceptors.add("interceptor.TimeInterceptor");
        interceptors.add("interceptor.CounterInterceptor");
        //把拦截器设置进去
        props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, interceptors);

        String topic = "xin";
        Producer<String, String> producer = new KafkaProducer<>(props);

        // 3 发送消息
        for (int i = 0; i < 10; i++) {

            ProducerRecord<String, String> record = new ProducerRecord<>(topic, "message" + i);
            producer.send(record);
        }

        // 4 一定要关闭producer，这样才会调用interceptor的close方法
        producer.close();
    }
}

启动consumer

./kafka-console-consumer.sh --topic xin --bootstrap-server hdp-2:9092 --from-beginning

五、Kafka Streams

是一个功能强大，易于使用的库。用于构建高可分布式、拓展性，容错的应用程序。

特点：一个库，而不是框架‘

无需专门的集群毫秒级延迟并非微批处理窗口允许乱序数据允许迟到数据

为什么要有Kafka Stream：

Kafka Stream提供的是一个基于Kafka的流式处理类库。

Kafka Stream作为类库，可以非常方便的嵌入应用程序中，它对应用的打包和部署基本没有任何要求。

大部分流式系统中都已部署了Kafka，此时使用Kafka Stream的成本非常低。

使用Storm或Spark Streaming时，需要为框架本身的进程预留资源

Kafka本身提供数据持久化，Kafka Stream可以在线动态调整并行度

数据清洗案例

需求：

实时处理单词带有”>>>”前缀的内容。例如输入”xin>>>wang”，最终处理成“wang”

实现的是在xin的主题生产者发送 xin>>>wang,会在test主题的消费者接受wang

1、处理数据，只保留>>>后数据

package stream;
import org.apache.kafka.streams.processor.Processor;
import org.apache.kafka.streams.processor.ProcessorContext;

public class LogProcessor implements Processor<byte[], byte[]> {

    private ProcessorContext context;

    @Override
    public void init(ProcessorContext context) {
        this.context = context;
    }

    @Override
    public void process(byte[] key, byte[] value) {
        String input = new String(value);

        // 如果包含“>>>”则只保留该标记后面的内容
        if (input.contains(">>>")) {
            input = input.split(">>>")[1].trim();
            // 输出到下一个topic
            context.forward("logProcessor".getBytes(), input.getBytes());
        }else{
            context.forward("logProcessor".getBytes(), input.getBytes());
        }
    }

    @Override
    public void punctuate(long timestamp) {

    }

    @Override
    public void close() {

    }
}

主线程

package stream;
import java.util.Properties;
import org.apache.kafka.streams.KafkaStreams;
import org.apache.kafka.streams.StreamsConfig;
import org.apache.kafka.streams.processor.Processor;
import org.apache.kafka.streams.processor.ProcessorSupplier;
import org.apache.kafka.streams.processor.TopologyBuilder;
import stream.LogProcessor;

public class Application {

    public static void main(String[] args) {

        // 定义输入的topic
        String from = "xin";
        // 定义输出的topic
        String to = "test";

        // 设置参数
        Properties settings = new Properties();
        //应用id（随便）
        settings.put(StreamsConfig.APPLICATION_ID_CONFIG, "logFilter");
        //连接的kafka主机
        settings.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "hdp-2:9092");

        StreamsConfig config = new StreamsConfig(settings);

        // 构建拓扑
        TopologyBuilder builder = new TopologyBuilder();

        //SOURCE输入源名称
        builder.addSource("SOURCE", from)
                .addProcessor("PROCESS", new ProcessorSupplier<byte[], byte[]>() {

                    @Override
                    public Processor<byte[], byte[]> get() {
                        // 具体分析处理
                        return new LogProcessor();
                    }
                }, "SOURCE")
                .addSink("SINK", to, "PROCESS");

        // 创建kafka stream
        KafkaStreams streams = new KafkaStreams(builder, config);
        streams.start();
    }
}

辛聪明

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Kafka过程分析、拦截器

kafka入门教程（一）一、Kafka生产过程分析1、写入方式：producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）。2、分区（Partition）同一个topic属于一个目录，目录的下一级是分区其中的每一个消息都是有序的，且被...
复制链接

扫一扫