华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

最新推荐文章于 2023-04-01 23:37:24 发布

华为云技术精粹

最新推荐文章于 2023-04-01 23:37:24 发布

阅读量2.4k

点赞数 1

文章标签：云计算华为云

本文链接：https://blog.csdn.net/HWCloudDeveloper/article/details/123654513

版权

本文介绍了如何在华为云FusionInsight MRS中利用FlinkSQL处理复杂的嵌套Json格式数据。通过Flink WebUI，开发者可以进行界面化的SQL编辑，简化作业开发，降低流计算门槛。文章详细阐述了使用FlinkSQL解析Json的步骤，包括数据连接、SQL编写、语义校验和启动任务，以实现从Kafka源读取数据并转换写入新的Kafka主题。

摘要由CSDN通过智能技术生成

背景说明

随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学 Java 的爱好者，或是不懂代码的数据分析者。如何提高开发者的效率，降低流计算的门槛，对推广实时计算非常重要。

SQL 是数据处理中使用最广泛的语言，它允许用户简明扼要地展示其业务逻辑。Flink 作为流批一体的计算引擎，致力于提供一套 SQL 支持全部应用场景，Flink SQL 的实现也完全遵循 ANSI SQL 标准。之前，用户可能需要编写上百行业务代码，使用 SQL 后，可能只需要几行 SQL 就可以轻松搞定。

本文介绍如何使用华为FusionInsight MRS FlinkServer服务进行界面化的FlinkSQL编辑，从而处理复杂的嵌套Json格式

Json内容

下面以cdl新增数据的json为例

{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"string",
                "optional":false,
                "field":"DATA_STORE"
            },
            {
                "type":"string",
                "optional":false,
                "field":"SEG_OWNER"
            },
            {
                "type":"string",
                "optional":false,
                "field":"TABLE_NAME"
            },
            {
                "type":"int64",
                "optional":false,
                "name":"org.apache.kafka.connect.data.Timestamp",
                "version":1,
                "field":"TIMESTAMP"
            },
            {
                "type":"string",
                "optional":false,
                "field":"OPERATION"
            },
            {
                "type":"string",
                "optional":true,
                "field":"LOB_COLUMNS"
            },
            {
                "type":"struct",
                "fields":[
                    {
                        "type":"array",
                        "items":{
                            "type":"struct",
                            "fields":[
                                {
                                    "type":"string",
                                    "optional":false,
                                    "field":"name"
                                },
                                {
                                    "type":"string",
                                    &