从SQLFlow的json格式中学习数据血缘json格式设计

已于 2022-04-07 08:07:33 修改
阅读量1.3k 收藏 3
点赞数 4
分类专栏： 数据血缘 文章标签： json hive 数据库
于 2021-10-09 15:27:18 首次发布
本文为博主原创文章，转载请显著位置标明出处，未经博主允许不得用于商业目的。
本文链接：https://blog.csdn.net/qq_44831907/article/details/120671264
版权

0.

数据血缘可视化这块目前比较优秀的就是SQLFlow（马哈鱼数据血缘分析器）了。我们可以从SQLFlow的json格式中学习数据血缘json格式设计。
其他设计参考:

1.实例

如何获取SQLFlow的json？在可视化画布上右键–》Download as json
在这里插入图片描述
以SQLFlow带的的 Hive sample sql 为例。

SELECT pageid, adid
FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;

为了观感我们一段一段的讲，文章末尾有完整json。

1.1 核心概况

json中血缘关系定义在sqlflow这个对象中，有一个字段两个数组

  • dbvendor :什么类型的数据库，这里是hive
  • dbobjs：节点数组，每个节点就是sqlflow里画布里一块块表格
  • relations：关系数组，每个关系就是sqlflow里画布里的连线
"sqlflow": {
            "dbvendor": "dbvhive",
            "dbobjs": [],
            "relations": []
            }
1.2 dbobjs数组

dbobjs数组存着多个节点对象,节点对象结果如下。每个节点对象内有这个表的所有列和坐标。

  {
  "id": "2",
  "name": "pageAds",
  "type": "table",
  "columns": [
    {
      "id": "9",
      "name": "adid_list",
      "coordinates": [
        {
          "x": 3,
          "y": 35,
          "hashCode": "0"
        },
        {
          "x": 3,
          "y": 44,
          "hashCode": "0"
        }
      ]
    },
    {
      "id": "13",
      "name": "pageid",
      "coordinates": [
        {
          "x": 2,
          "y": 8,
          "hashCode": "0"
        },
        {
          "x": 2,
          "y": 14,
          "hashCode": "0"
        }
      ]
    }
  ],
  "coordinates": [
    {
      "x": 3,
      "y": 6,
      "hashCode": "0"
    },
    {
      "x": 3,
      "y": 61,
      "hashCode": "0"
    }
  ]
}

在这里插入图片描述
json中表和列的二元坐标组都有这样方便前端渲染关系图。表和字段有各自编号方便后面关系定位自己的父节点

relations

relations里的每个关系对象有最重要的 target和sources字段。从relations里我们也可以发现sqlflow的json格式和hive利用hook被动采集的字段级血缘关系的日志格式基本相似。

{
  "id": "101",
  //sqlflow自己定义的几种关系
  "type": "fdd",
  "effectType": "select",
  "target": {
    "id": "14",
    "column": "adid",
    "parentId": "11",
    "parentName": "RS-1",
    "coordinates": [
      {
        "x": 2,
        "y": 16,
        "hashCode": "0"
      },
      {
        "x": 2,
        "y": 20,
        "hashCode": "0"
      }
    ]
  },
  "sources": [
    {
      "id": "8",
      "column": "adid",
      "parentId": "7",
      "parentName": "adTable",
      "coordinates": [
        {
          "x": 3,
          "y": 57,
          "hashCode": "0"
        },
        {
          "x": 3,
          "y": 61,
          "hashCode": "0"
        }
      ]
    }
  ]
}

在这里插入图片描述
在这里插入图片描述
我们可以依据上文sqlflow的json格式设计我们自己的血缘json格式,
血缘对象
nodes:List
edges:List
node:Node
Columns:List
Column:Column
name:String
id:String
name:String
type:Enum
left:Integer
top:Integer
from:Edge
to:Edge 对象字段同from
tbName:String
column:String

sqlflow的完整json

{
  "code": 200,
  "data": {
    "mode": "global",
    "summary": {
      "schema": 0,
      "process": 0,
      "database": 0,
      "view": 0,
      "mostRelationTables": [
        {
          "table": "PAGEADS"
        },
        {
          "table": "ADTABLE"
        }
      ],
      "column": 3,
      "table": 2,
      "relation": 3
    },
    "sqlflow": {
      "dbvendor": "dbvhive",
      "dbobjs": [
        {
          "id": "2",
          "name": "pageAds",
          "type": "table",
          "columns": [
            {
              "id": "9",
              "name": "adid_list",
              "coordinates": [
                {
                  "x": 3,
                  "y": 35,
                  "hashCode": "0"
                },
                {
                  "x": 3,
                  "y": 44,
                  "hashCode": "0"
                }
              ]
            },
            {
              "id": "13",
              "name": "pageid",
              "coordinates": [
                {
                  "x": 2,
                  "y": 8,
                  "hashCode": "0"
                },
                {
                  "x": 2,
                  "y": 14,
                  "hashCode": "0"
                }
              ]
            }
          ],
          "coordinates": [
            {
              "x": 3,
              "y": 6,
              "hashCode": "0"
            },
            {
              "x": 3,
              "y": 61,
              "hashCode": "0"
            }
          ]
        },
        {
          "id": "7",
          "name": "adTable",
          "type": "table",
          "columns": [
            {
              "id": "8",
              "name": "adid",
              "coordinates": [
                {
                  "x": 3,
                  "y": 57,
                  "hashCode": "0"
                },
                {
                  "x": 3,
                  "y": 61,
                  "hashCode": "0"
                }
              ]
            }
          ],
          "coordinates": [
            {
              "x": 3,
              "y": 46,
              "hashCode": "0"
            },
            {
              "x": 3,
              "y": 53,
              "hashCode": "0"
            }
          ]
        },
        {
          "id": "11",
          "name": "RS-1",
          "type": "select_list",
          "columns": [
            {
              "id": "12",
              "name": "pageid",
              "coordinates": [
                {
                  "x": 2,
                  "y": 8,
                  "hashCode": "0"
                },
                {
                  "x": 2,
                  "y": 14,
                  "hashCode": "0"
                }
              ]
            },
            {
              "id": "14",
              "name": "adid",
              "coordinates": [
                {
                  "x": 2,
                  "y": 16,
                  "hashCode": "0"
                },
                {
                  "x": 2,
                  "y": 20,
                  "hashCode": "0"
                }
              ]
            }
          ],
          "coordinates": [
            {
              "x": 2,
              "y": 8,
              "hashCode": "0"
            },
            {
              "x": 2,
              "y": 20,
              "hashCode": "0"
            }
          ]
        }
      ],
      "relations": [
        {
          "id": "101",
          "type": "fdd",
          "effectType": "select",
          "target": {
            "id": "14",
            "column": "adid",
            "parentId": "11",
            "parentName": "RS-1",
            "coordinates": [
              {
                "x": 2,
                "y": 16,
                "hashCode": "0"
              },
              {
                "x": 2,
                "y": 20,
                "hashCode": "0"
              }
            ]
          },
          "sources": [
            {
              "id": "8",
              "column": "adid",
              "parentId": "7",
              "parentName": "adTable",
              "coordinates": [
                {
                  "x": 3,
                  "y": 57,
                  "hashCode": "0"
                },
                {
                  "x": 3,
                  "y": 61,
                  "hashCode": "0"
                }
              ]
            }
          ]
        },
        {
          "id": "102",
          "type": "fdd",
          "effectType": "select",
          "target": {
            "id": "12",
            "column": "pageid",
            "parentId": "11",
            "parentName": "RS-1",
            "coordinates": [
              {
                "x": 2,
                "y": 8,
                "hashCode": "0"
              },
              {
                "x": 2,
                "y": 14,
                "hashCode": "0"
              }
            ]
          },
          "sources": [
            {
              "id": "13",
              "column": "pageid",
              "parentId": "2",
              "parentName": "pageAds",
              "coordinates": [
                {
                  "x": 2,
                  "y": 8,
                  "hashCode": "0"
                },
                {
                  "x": 2,
                  "y": 14,
                  "hashCode": "0"
                }
              ]
            }
          ]
        },
        {
          "id": "103",
          "type": "fdd",
          "effectType": "select",
          "target": {
            "id": "8",
            "column": "adid",
            "parentId": "7",
            "parentName": "adTable",
            "coordinates": [
              {
                "x": 3,
                "y": 57,
                "hashCode": "0"
              },
              {
                "x": 3,
                "y": 61,
                "hashCode": "0"
              }
            ]
          },
          "sources": [
            {
              "id": "9",
              "column": "adid_list",
              "parentId": "2",
              "parentName": "pageAds",
              "coordinates": [
                {
                  "x": 3,
                  "y": 35,
                  "hashCode": "0"
                },
                {
                  "x": 3,
                  "y": 44,
                  "hashCode": "0"
                }
              ]
            }
          ]
        }
      ]
    },
    "graph": {
      "elements": {
        "tables": [
          {
            "columns": [
              {
                "height": 16,
                "id": "n0::n0",
                "label": {
                  "content": "pageid",
                  "fontFamily": "Segoe UI Symbol",
                  "fontSize": "12",
                  "height": 13.96875,
                  "width": 59,
                  "x": 0,
                  "y": 0
                },
                "width": 160,
                "x": 445,
                "y": -59.49261
              },
              {
                "height": 16,
                "id": "n0::n1",
                "label": {
                  "content": "adid",
                  "fontFamily": "Segoe UI Symbol",
                  "fontSize": "12",
                  "height": 13.96875,
                  "width": 43,
                  "x": 0,
                  "y": 0
                },
                "width": 160,
                "x": 445,
                "y": -43.49261
              }
            ],
            "height": 57.96875,
            "id": "n0",
            "label": {
              "content": "RS-1",
              "fontFamily": "Segoe UI Symbol",
              "fontSize": "12",
              "height": 17.96875,
              "width": 162,
              "x": 0,
              "y": 0
            },
            "width": 162,
            "x": 444,
            "y": -81.46136
          },
          {
            "columns": [
              {
                "height": 16,
                "id": "n1::n0",
                "label": {
                  "content": "adid_list",
                  "fontFamily": "Segoe UI Symbol",
                  "fontSize": "12",
                  "height": 13.96875,
                  "width": 67,
                  "x": 0,
                  "y": 0
                },
                "width": 160,
                "x": 1,
                "y": -59.49261
              },
              {
                "height": 16,
                "id": "n1::n1",
                "label": {
                  "content": "pageid",
                  "fontFamily": "Segoe UI Symbol",
                  "fontSize": "12",
                  "height": 13.96875,
                  "width": 59,
                  "x": 0,
                  "y": 0
                },
                "width": 160,
                "x": 1,
                "y": -43.49261
              }
            ],
            "height": 57.96875,
            "id": "n1",
            "label": {
              "content": "pageAds",
              "fontFamily": "Segoe UI Symbol",
              "fontSize": "12",
              "height": 17.96875,
              "width": 162,
              "x": 0,
              "y": 0
            },
            "width": 162,
            "x": 0,
            "y": -81.46136
          },
          {
            "columns": [
              {
                "height": 16,
                "id": "n2::n0",
                "label": {
                  "content": "adid",
                  "fontFamily": "Segoe UI Symbol",
                  "fontSize": "12",
                  "height": 13.96875,
                  "width": 43,
                  "x": 0,
                  "y": 0
                },
                "width": 160,
                "x": 223,
                "y": -30.000149
              }
            ],
            "height": 41.96875,
            "id": "n2",
            "label": {
              "content": "adTable",
              "fontFamily": "Segoe UI Symbol",
              "fontSize": "12",
              "height": 17.96875,
              "width": 162,
              "x": 0,
              "y": 0
            },
            "width": 162,
            "x": 222,
            "y": -51.9689
          }
        ],
        "edges": [
          {
            "id": "e0",
            "sourceId": "n1::n0",
            "targetId": "n2::n0"
          },
          {
            "id": "e1",
            "sourceId": "n2::n0",
            "targetId": "n0::n1"
          },
          {
            "id": "e2",
            "sourceId": "n1::n1",
            "targetId": "n0::n0"
          }
        ]
      },
      "tooltip": {
        
      },
      "relationIdMap": {
        "e0": "fdd",
        "e1": "fdd",
        "e2": "fdd"
      },
      "listIdMap": {
        "n0": [
          "11"
        ],
        "n0::n0": [
          "12"
        ],
        "n0::n1": [
          "14"
        ],
        "n1": [
          "2"
        ],
        "n1::n0": [
          "9"
        ],
        "n1::n1": [
          "13"
        ],
        "n2": [
          "7"
        ],
        "n2::n0": [
          "8"
        ]
      }
    }
  },
  "sessionId": "a91895aadcb9d674e7d3edd5ddd12d4fefcda4ff797881d3b4823fe1ec9ff367_1633745113743"
}
mizuhokaga
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【SQLFlow】马哈鱼—利用元数据提高数据血缘分析的准确性
m0_54252387的博客
07-20 313
治理分析师常常需要对各种复杂场景下的SQL语句进行溯源分析，而限于环境因素，往往只能提供SQL语句给马哈鱼进行分析处理，SQL语句的制造者往往为了简便行事，会产生一些数据库可执行但马哈鱼无法正确识别的一类语句，本文聚焦此处，为各位专家介绍马哈鱼官方对这类问题的解决方案。由于第一张表customer_total_return所使用/返回的列均在SQL语句中显示指定，所以这里不需要额外提供它的定义信息，只需要提供其他两张表的定义，如果您的语句中存在所有表均有上述情况，则需要将所有表的定义提供给马哈鱼供分析。..
JSON数据格式介绍中文WORD版
07-22
资源名称：JSON数据格式介绍 中文WORD版内容简介：本文档主要讲述的是JSON数据格式介绍；JSON是 Javaｓｃｒｉｐｔ Object Notation的简称，是一种轻量的数据表示方法。jason格式采用key:value的方式记录数据，非常...
数仓+血缘图+流程图+前端+js
06-03
此血缘图实现了以下功能： 1、支持节点跨级连线 2、支持正反向连线（任意连线）3、节点层级清晰 4、支持放大、缩小功能 5、支持拖拽节点功能 6、连线为箭头连线 7、连线上可以加文字标注 8、节点内容清晰明了 9、节点可以加不同的背景颜色 10、每个节点不需要坐标 。适合数仓的表、字段等血缘图。
DbUtils工具和连接池
qq_39892275的博客
07-19 461
DbUtils工具和连接池 一，DbUtils认知 什么的DuBtils Commons DbUtils是Apache组织提供的一个对JDBC进行简单封装的开源工具类库，使用它能够简化JDBC应用程序的开发，同时也不会影响程序的性能。 通俗来说：DbUtils就是JDBC开发的工具包，完成对原生JDBC操作的封装！ DbUtils中的核心对象 （1）QueryRunner类：替换了原生JDBC中的Statement以及PreparedStatement，支持使用？绑定动态数据，可以有效防止SQL注入！ （
数据治理——数据血缘简介
最新发布
爱吃辣条的博客
04-18 1611
数据治理——数据血缘
VUE中 用AntV G6 + element 实现关系图展示
weixin_60068942的博客
09-06 4180
getColumnLineage 是请求后端的接口，我的血缘关系是根据不同入参动态展示的，所以data信息就不给大家粘贴啦。写了一个血缘的按钮 ，点击后 血缘关系在对话框 el-dialog 上弹框展示。1.效果图 (我的需求是做字段血缘展示)3.5 销毁画布 定义 chart。3.6 针对我的需求 设计。
【JDBC】使用DBUtils包来管理JDBC
极客-多重人格递归
03-04 282
什么是DBUtils？是JDBC的简化开发工具包。使用它就不用再写很多冗余的代码了。总而言之，就是使得JDBC的操作更加的简单化了。
使用马哈鱼SQLFLow 1 分钟获取复杂 SQL 语句的血缘关系
学习之余随便记记
05-13 776
数据血缘关系在企业的数据治理中是非常重要的一个环节，关于数据血缘在企业数据治理中的重要作用，可以。SQL 语言在数据处理中被广泛使用，SQL 语句中包含了丰富的数据血缘关系，关于什么是 SQL 中的数据血缘，如何发现这些隐藏在 SQL 语句中数据血缘，请。本文主要介绍如何利用提供的 UI，Rest API 及 Java 库来快速获取复杂 SQL 语句中的数据血缘，并根据需要，集成在自己的数据治理平台中。
【已开源】基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面
热门推荐
mizuhokaga的博客
10-24 1万+
一、概况 接到了数据血缘的需求，前端要求效果类似sqlflow。通过大佬的类似demo发现了jsplumb这个连线库。然后看文档和github一些demo捣鼓出来了。基本效果如下： 目前已实现效果： 流程图下载为png图片 流程图下载为json数据 流程图缩放 流程图拖动 选择连线，线两端的节点高亮 ...
管理数据资产，TuGraph打造数据血缘图谱
TuGraph的博客
02-23 1545
（预计阅读时间：8分钟） 数据血缘，数据旅行的地图 ...
基于Hive解析AST的模仿sqlFlow无中间表的字段级数据血缘的后端
mizuhokaga的博客
11-30 2164
0、前言 之前写了篇 基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面，是利用jsplumb.js模仿sqlflow的前端。 然后有些小伙伴想看后端代码，当时第一版代码写得太乱了，所以就没直接发。磨了1个月，虽然还有bug但是也算基本能跑了。
python中json格式数据输出的简单实现方法
09-21
下面小编就为大家带来一篇python中json格式数据输出的简单实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Python中json格式数据的编码与解码方法详解
09-21
主要介绍了Python中json格式数据的编码与解码方法,详细分析了Python针对json格式数据的编码转换操作技巧,具有一定参考借鉴价值,需要的朋友可以参考下
测试数据json格式
05-25
要素合集创建要素图层的方式，需要用到json格式的要素，为了方便本地测试，我们可以把geojson和shp格式的要素转换为json格式。
关于struts返回对象json格式数据的方法
10-27
以下为大家介绍，关于struts返回对象json格式数据的方法，希望对有需要的朋友有所帮助。
数据库连接池，几种开源的数据库连接池
kay三石
04-14 1132
数据库连接池：什么是数据库连接池了？ 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。 在Java中开源的数据库连接池有以下几种 ： 1、C3P0：是一个开放源代码的JDBC连接池，它在...
那些年我们一起玩的Django框架之全面讲解
weixin_34161083的博客
02-25 240
Web框架之Django：（1）简介：Django是一个由Python写成开源的重量级Web应用框架，采用MTV的框架模式。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手Django Reinhardt来命名的。Django的优势在于：大而全，...
shell怎么将JSON格式中的数据读取出来
07-11
你可以使用shell中的工具来解析JSON格式的数据。一个常用的工具是`jq`，它可以帮助你从JSON中提取和操作数据。 首先，确保你已经安装了`jq`。在大多数Linux发行版中，你可以通过包管理器安装它。例如，在Ubuntu上，你可以运行以下命令安装它： ``` sudo apt-get install jq ``` 一旦安装完成，你可以使用`jq`命令来解析JSON数据。假设你有一个名为`data.json`的文件，其中包含以下JSON数据： ```json { "name": "John", "age": 30, "city": "New York" } ``` 你可以使用以下命令来读取JSON数据： ```bash cat data.json | jq '.name' ``` 这将输出`John`，表示从JSON中提取了`name`字段的值。 你还可以进一步操作JSON数据。例如，如果你想以格式化的方式打印整个JSON数据，可以运行以下命令： ```bash cat data.json | jq '.' ``` 这将以易读的形式输出整个JSON数据。 希望这可以帮助你在shell中读取和操作JSON格式的数据！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值