flink table 使用Kafka Connector处理复杂json

最新推荐文章于 2022-08-16 10:08:45 发布

kevin_wf

最新推荐文章于 2022-08-16 10:08:45 发布

阅读量2k

点赞数 2

分类专栏： flink 个人总结

本文链接：https://blog.csdn.net/wflh323/article/details/103735199

版权

本文介绍了如何使用Flink Table API配合Kafka Connector处理复杂的JSON字符串。通过示例代码展示了具体的实现步骤，帮助读者理解如何在Flink中解析并操作JSON数据。

摘要由CSDN通过智能技术生成

flink kafka connector处理复杂json字符串，直接上代码。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env,bsSettings);
        tableEnv.connect(new Kafka()
                .version("universal")
                .topic("w001")
                .property("zookeeper.connect", "192.168.0.1:2181")
                .property("bootstrap.servers", "192.168.0.1:9092,192.168.0.2:9092,192.168.0.3:9092")
                .property("group.id", "w01")
                .startFromLatest()
        )
                .withFormat(new Json().deriveSchema())  //jsonSchema(JSON_SCHEMA).failOnMissingField(false)
//{"id":1553650604,"code":200,"results":{"id"