flink消费kafka消息

package testMaven.testMaven;

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer08;
import org.apache.flink.streaming.util.serialization.SimpleStringSchema;

import java.util.Properties;

public class App 
{
    public static void main( String[] args ) throws Exception
    {
        String topic = "test";
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "192.168.1.213:9092");
        properties.setProperty("zookeeper.connect", "192.168.1.213:2181");
        properties.setProperty("group.id", "site");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.getConfig().enableSysoutLogging();

        DataStream<String> dataStream = env.addSource(new FlinkKafkaConsumer08<String>(topic, new SimpleStringSchema(), properties));

        dataStream.writeAsText("/tmp/app.txt");

        env.execute("read from kafka example");

    }

}
Flink 中使用 Kafka 作为数据源可以通过 FlinkKafka Consumer 进行实现。下面是一个简单的 Flink 消费 Kafka 数据的代码示例: ```java import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import java.util.Properties; public class FlinkKafkaConsumerExample { public static void main(String[] args) throws Exception { // 设置执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 配置 Kafka Consumer Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test"); // 创建 FlinkKafkaConsumer FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("mytopic", new SimpleStringSchema(), props); // 将 Kafka Consumer 添加到 Flink 程序中 DataStream<String> stream = env.addSource(consumer); // TODO: 在这里添加对数据流的处理逻辑 // 执行 Flink 程序 env.execute("Flink Kafka Consumer Example"); } } ``` 上述代码中,我们首先使用 `StreamExecutionEnvironment` 创建执行环境。然后,我们设置 Kafka Consumer 的配置信息,并使用 `FlinkKafkaConsumer` 创建一个 Kafka Consumer 对象。最后,我们将 Kafka Consumer 添加到 Flink 程序中,使用 `env.addSource()` 方法将 Kafka 数据流转换为 Flink 数据流。接下来,我们可以在 `TODO` 标记处添加对数据流的处理逻辑。最后,我们调用 `env.execute()` 方法来执行 Flink 程序。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值