Flink流处理-Kafka Connector

环境

flink-1.9.0
kafka_2.11-0.10.2.0

一、需要的依赖

说明：flink与kafka版本对应关系

即需要根据kafka版本选择对应的连接器，如果kafka版本大于1.0.0可以直接使用通用的连接器，如果版本较低则需要根据kafka版本选择对应版本的连接器。这里使用的是kafka_2.11-0.10.2.0版本。

<!--flink流处理依赖-->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.11</artifactId>
    <version>1.9.0</version>
</dependency>
<!--kafka客户端依赖，这里根据实际版本引用-->
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.10.2.0</version>
</dependency>

<!--kafka-0.10_x版本 连接器依赖-->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka-0.10_2.11</artifactId>
    <version>1.9.0</version>
</dependency>

<!--kafka-1.0.0之后的通用连接器依赖-->
<!--<dependency>-->
    <!--<groupId>org.apache.flink</groupId>-->
     <!--<artifactId>flink-connector-kafka_2.11</artifactId>-->
     <!--<version>1.9.0</version>-->
 <!--</dependency>-->

二、数据文件

how	are	you
world	and	that
hello	world
jack	and
app	storm	storm	what
spark	spark

三、作为生产者将数据写入Kafka

package cn.myclass.connector;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer010;
import org.apache.flink.util.Collector;

import java.util.Properties;

/**
 * Flink连接kafka,作为生产者和消费者
 * @author Yang
 */
public class KafkaConnector {

    /**
     * 获得数据流执行环境
     */
    private static StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    /**
     * 作为生产者给Kafka发送信息
     */
    private static void kafkaProduct() throws Exception {
        // 从文本文件中数据并切分打散
        DataStream<String> data = env.readTextFile("FlinkModule/src/main/resources/stream/word")
                .flatMap(new FlatMapFunction<String, String>() {
                    @Override
                    public void flatMap(String s, Collector<String> collector) throws Exception {
                        String[] arr = s.split("\t");
                        for(String string:arr){
                            collector.collect(string);
                        }
                    }
                });
                
        // 创建 Kafka 生产者对象，配置Kafka连接信息
        // 方式一，传参直接创建
        FlinkKafkaProducer010<String> myProducer = new FlinkKafkaProducer010<>(
                // Kafka broker list
                "node1:9092,node2:9092,node3:9092",
                // 主题
                "test",
                // 序列化类型
                new SimpleStringSchema());
        // 方式二，通过配置文件创建
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "node1:9092,node2:9092,node3:9092");
        properties.setProperty("group.id", "test");
        FlinkKafkaProducer010<String> myProducer1 = new FlinkKafkaProducer010<>(
                // 主题
                "test",
                // 序列化类型
                new SimpleStringSchema(),properties);
                
        // versions 0.10+ allow attaching the records' event timestamp when writing them to Kafka;
        // 加上时间戳，0.10版本之后可以用
        myProducer.setWriteTimestampToKafka(true);

        // 添加自定义kafka sink,将数据流入kafka
        data.addSink(myProducer);
        env.execute("kafka producer");
    }
    
}

创建kafka消费者
kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic test
运行程序，查看控制台输出

四、作为消费者消费Kafka数据

package cn.myclass.connector;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer010;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer010;
import org.apache.flink.util.Collector;

import java.util.Properties;

/**
 * Flink连接kafka,分别作为生产者和消费者
 * @author Yang
 */
public class KafkaConnector {

    /**
     * 获得数据流执行环境
     */
    private static StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    /**
     * 作为消费者消费Kafka信息
     */
    private static void kafkaConsumer() throws Exception {
        // 新建配置对象
        Properties properties = new Properties();
        // 设置kafka集群映射
        properties.setProperty("bootstrap.servers", "hadoop:9092,slave1:9092,slave2:9092");
        // 设置组id
        properties.setProperty("group.id", "test");
        // 添加kafka作为数据源
        DataStream<String> stream = env
                // 添加数据源，参数依次为 主题 序列化类型 配置
                .addSource(new FlinkKafkaConsumer010<>("user_log", new SimpleStringSchema(), properties)
                // 设置消费类型从头消费
                .setStartFromLatest());
        // 打印主题中的数据
        stream.print();
        // 执行任务
        env.execute("Kafka consumer");
    }

}

开启kafka生产者并输入数据进行测试
kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic test

运行kafka消费者程序，查看控制台输出