flinksql 解析嵌套JSON

最新推荐文章于 2024-01-14 12:14:20 发布
最新推荐文章于 2024-01-14 12:14:20 发布
阅读量956 收藏
点赞数
文章标签： json java flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_71602019/article/details/127439129
版权
本文详细介绍了如何使用FlinkSQL解析和处理包含多个时间序列数据的嵌套JSON，包括从JSON中提取hostname、内存使用率等信息，并展示了不同主机在一段时间内的内存使用变化情况。
摘要由CSDN通过智能技术生成

{

    "items": [

        {

            "timeSeries": [

                {

                    "metadata": {

                        "metricName": "physical_memory_used/(1024*1024*1024)",

                        "expression": "SELECT physical_memory_used/(1024*1024*1024) WHERE entityName = \"2c03c3b2-4bb6-4f42-93db-379618c8969c\" AND category = HOST",

                        "unitNumerators": [

                            "bytes"

                        ],

                        "entityName": "testcdc5",

                        "metricCollectionFrequencyMs": 60000,

                        "startTime": "2022-08-30T01:24:30.087Z",

                        "attributes": {

                            "hostname": "testcdc5",

                            "clusterDisplayName": "Cluster 1",

                            "entityName": "2c03c3b2-4bb6-4f42-93db-379618c8969c",

                            "clusterName": "cluster",

                            "hostId": "2c03c3b2-4bb6-4f42-93db-379618c8969c",

                            "active": "true",

                            "category": "HOST",

                            "version": "CDH 5.16.2",

                            "rackId": "/default"

                        },

                        "endTime": "2022-08-30T01:29:30.087Z",

                        "unitDenominators": [],

                        "rollupUsed": "RAW"

                    },

                    "data": [

                        {

                            "type": "CALCULATED",

                            "value": 13.889511108398438,

                            "timestamp": "2022-08-30T01:25:24.000Z"

                        },

                        {

                            "type": "CALCULATED",

                            "value": 13.889270782470703,

                            "timestamp": "2022-08-30T01:26:24.000Z"

                        },

                        {

                            "type": "CALCULATED",

                            "value": 13.899208068847656,

                            "timestamp": "2022-08-30T01:27:24.000Z"

                        },

                        {

                            "type": "CALCULATED",

                            "value": 13.90023422241211,

                            "timestamp": "2022-08-30T01:28:24.000Z"

                        },

                        {

                            "type": "CALCULATED",

                            "value": 13.899818420410156,

                            "timestamp": "2022-08-30T01:29:24.000Z"

                        }

                    ]

                },

                {

                    "metadata": {

                        "metricName": "physical_memory_used/(1024*1024*1024)",

                        "expression": "SELECT physical_memory_used/(1024*1024*1024) WHERE entityName = \"32a21b2a-341f-42e5-98ed-cb722dc638dc\" AND category = HOST",

                        "unitNumerators": [

                            "bytes"

                        ],

                        "entityName": "testcdc4",

                        "metricCollectionFrequencyMs": 60000,

                        "startTime": "2022-08-30T01:24:30.087Z",

                        "attributes": {

                            "hostname": "testcdc4",

                            "clusterDisplayName": "Cluster 1",

                            "entityName": "32a21b2a-341f-42e5-98ed-cb722dc638dc",

                            "clusterName": "cluster",

                            "hostId": "32a21b2a-341f-42e5-98ed-cb722dc638dc",

                            "active": "true",

                            "category": "HOST",

                            "version": "CDH 5.16.2",

                            "rackId": "/default"

                        },

                        "endTime": "2022-08-30T01:29:30.087Z",

                        "unitDenominators": [],

                        "rollupUsed": "RAW"

                    },

                    "data": [

                        {

                            "type": "CALCULATED",

                            "value": 14.

最低0.47元/天 解锁文章
Trouble_maker785
关注
【FLink】Flink SQL 解析嵌套的 JSON 数据
九师兄
05-20 6861
1.概述 在日常的开发中,最常用的数据格式是 JSON ,并且有的时候 JSON 的格式是非常复杂的(嵌套的格式),那在 Flink SQL 中进行解析的时候也会相当麻烦一点,下面将会演示如何在 DDL 里面定义 Map、Array、Row 类型的数据,以及在 SQL 里面如何获里面的值 数据格式如下: 以下数据完全是自己造的,没有任何实际含义 { "funcName": "test", "data": { "snapshots": [{ "content_type": "applicati.
flinksql 解析kafka中json数据
yy的博客
11-07 2626
flinksql json kafka flink1.13 代码 // 数据类型映射关系: https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/connectors/table/formats/json/#%E5%A6%82%E4%BD%95%E5%88%9B%E5%BB%BA%E4%B8%80%E5%BC%A0%E5%9F%BA%E4%BA%8E-json-format-%E7%9A%84%E8%A1%A8 // AR
Flink SQL 解析嵌套的 JSON 数据
u011937496的博客
03-25 5617
下面将会演示如何在 DDL 里面定义 Map、Array、Row 类型的数据,以及在 SQL 里面如何获里面的值。 数据格式如下: { "funcName": "test", "data": { "snapshots": [{ "content_type": "application/x-gzip-compressed-jpeg", "url": "https://blog.csdn.net/xianpanjia4616" }], "audio": [{ "conte
Flink：FlinkSql解析嵌套Json
Joseph25的博客
01-17 3494
flinksql解析嵌套json
Flink SQL 解析复杂嵌套Json数据
qq_31021213的博客
07-09 2300
Flink SQL解析复杂嵌套Json数据
华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践
HWCloudDeveloper的博客
03-22 2423
背景说明 随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学 Java 的爱好者，或是不懂代码的数据分析者。如何提高开发者的效率，降低流计算的门槛，对推广实时计算非常重要。 SQL 是数据处理中使用最广泛的语言，它允许用户简明扼要地展示其业务逻辑。Flink 作为流批一体的计算引擎，致力于提供一套 SQL 支持全部应用场景，Flink SQL 的实现也完全遵循 ANSI SQL 标准。之前，用户可能需要编写上百行业务代码，使用 SQL 后，可能只需要几行
flink消费kafka，解析嵌套json
Future_w2h的博客
09-03 696
SingleOutputStreamOperator<dump_real_msg_order_detail_comfirm_bean> map = dump_real_msg_order_detail_comfirm.map(new MapFunction<String, dump_real_msg_order_detail_comfirm_bean>() { @Override public dump_real_msg_order
pageaudit属性不正确_Arcgis小技巧总能遇到奇奇怪怪的问题，栅格数据属性表问题进阶版...
weixin_39524247的博客
12-01 999
在作业过程中遇到一个问题，栅格的土地利用数据没有属性表，但是需要统计面积，怎么办?网上查阅了一些资料，有很多资料大多讲的是在图层目录上右键发现打开属性表是灰色的不能点开。 这个问题的处理方法有好几种，第一种就是直接打开属性，在Symbology中选择Unique Values，然后就会提示创建属性表。第二种方式是采用工具箱BuildRasterAttributeT...
FlinkSql解析复杂的JSON结构
铁打的键盘也能敲出优雅的生活
07-28 5323
FlinkSql解析复杂JSON结构数据
Flink实战（八十二）：flink-sql使用（九）Flink sql 解析复杂（嵌套）JSON
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 2703
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 原文链接：http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-kafka-format-json-schema-json-object-td4665.html#a4700 > 我理解你的需求是json中有一些复杂的字段，你不想解析，希望后续用UDTF在来解析，这个应该做不到的，现在的jsonformat 的解析的底层实现 .
flink自定义udf函数解析json数据—类似json_value函数
diyicedaan的专栏
01-14 777
在flink的计算中，需要预定义udf函数解析kafka的json数据，本文使用java编写flink udf函数实现解析json功能，该类需要继承ScalarFunction,并使用fastjson库。要在Flink中使用这个自定义的ScalarFunction，可以在SQL查询或Table API中注册它，并在表达式中使用它。函数对输入表中的JSON字符串进行解析，提取指定字段的值。方法从JSONObject中获取指定字段的值，并将其返回。在上面的示例中，我们创建了一个名为。然后，我们注册了自定义的。
flink sql 复杂json解析
dian张
09-21 1382
{ "messageHeader" : { "messageID" : 2, "responseFlag" : -2 }, "messageBody" : { "time" : "2021-09-09T12:45:48", "vehicleBase" : { "id" : null, "vin" : null, "vehicleStatus" : 1, "chargeStatus" : 3 }, "a
Flink操作json数据
盛源的博客
03-02 5983
1 kafka中的json数据 关键词：json、嵌套、复杂结构、Map、Array、Row 1. Flink SQL 解析嵌套的 JSON 数据_JasonLee_后厂村程序员-CSDN博客 2 内置json函数 1. 官方文档 ​​​​​​​System (Built-in) Functions | Apache Flink 2. 函数使用 JSON_VALUE('{"a":}', '$.a') --> null JSON_VALUE('{"a":""}', '$.a')..
Flink SQL 如何解析嵌套的 JSON 数据＜转载＞
少年阿宏
08-27 899
flink sql
Flink Sql教程（6）
狄杰的博客
05-29 3478
FLINK SQL 解析复杂JSON&维表关联HBASE 解析复杂JSON 目前我们的数据源都是以JSON格式存储在KAFKA中，所以今天就写一下怎么在DDL语句中，解析复杂JSON 先贴一份JSON数据{ "afterColumns":{ "created":"1589186680", "extra":{ "canGiving":false }, "parameter":[ 1
flinkSql将嵌套Json映射成source表
jeseva的博客
08-28 2157
flinkSql在遇到复杂的json时,如何映射成表呢? 这里推荐一种方便的方式: 嵌套的json格式如下: { "data":{ "data":{ "mac_value":0, "ad_name":2056, "voice":75, "dataTimeStamp":1598522106830 }, "type":3, "deviceId":
总结过去的Flink-SQL：一个基于阿里云Blink-Stream-Studio的实时指标SQL
ygyblue2的博客
08-14 789
贴一个曾经开发过的小需求，主要是按照产品与时间的细粒度对业务指标进行实时统计 几个月前的了，我使用的是阿里云的StreamStudio可以直接写Flink-SQL进行统计，近期我们将本地线上环境升级到了Flink-1.11.1社区版，Flink-SQL的语法基本与Blink一致，并且Flink-1.11.1社区增加了对Hive的交互支持。 一个小小的不满，Flink-1.11.1社区版并不能像阿里云Blink-Stream-Studio平台一样支持DDL的形式创建维度表，在1.11社区版中还是得用以前.
Hivesql解析嵌套json字符串
最新发布
06-19
当处理嵌套 JSON 字符串时，Hive 提供了内置的 `json_tuple` 和 `json_array` 函数以及 `json_merge` 函数来解析和操作 JSON 数据。 1. `json_tuple`：这个函数将 JSON 对象拆分成一系列行，每个字段对应一个列。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值