flink + Atlas 任务数据血缘调通_atlas flink

最新推荐文章于 2024-05-09 09:44:04 发布

2401_84166896

最新推荐文章于 2024-05-09 09:44:04 发布

阅读量330

点赞数 3

分类专栏：程序员文章标签： flink linq 大数据

本文链接：https://blog.csdn.net/2401_84166896/article/details/138260372

版权

【代码】flink + Atlas 任务数据血缘调通_atlas flink。

摘要由CSDN通过智能技术生成

public static void main(String[] args) throws Exception {

    //TODO 1.获取执行环境
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    env.disableOperatorChaining();

    // TODO kafka消费
    // 配置 kafka 输入流信息
    Properties consumerprops = new Properties();
    consumerprops.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.0.2.67:9092");
    consumerprops.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
    consumerprops.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
    consumerprops.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
    consumerprops.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    consumerprops.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    // 添加 kafka 数据源
    DataStreamSource<String>