数据治理 Python桑基图处理表关系

数据治理 Python桑基图处理表关系

需求

随着hive库表越来越多，调度出问题后，排查时间越来越长。计划通过桑基图以及血缘图谱解决，当前先用桑基图页面顶一段时间。后期做成web服务，如果有可能，尽量嵌入到hive metastore

预期

• 桑基图：

业务DB/中间件 – ods – cdm – ads – 大数据服务DB

• 图谱：

业务DB/中间件 – 调度 – ods – 调度 – cdm – 调度 – ads – 调度 – 大数据服务DB

环境与版本

1. Anaconda – Python3.6
2. IED – PyCharm
3. 前端可视化图表 – echarts(pycharts 1.+)

数据处理

整理hive表

方案一： 从hive metastore关联表获取（DBS + TBLS)

## 所有库表一次获取
SELECT concat(b.NAME,'.',a.TBL_NAME) FROM TBLS a 
LEFT JOIN DBS b ON a.DB_ID = b.DB_ID; 

方案二： 从hdfs 获取

## 分库表多次获取
hadoop fs -ls /user/hive/warehouse/tmp.db/ | awk -F ' ' '{print $8}' | sed 's/\/user\/hive\/warehouse\/tmp\.db\//tmp\./g'

方案三： 从hive客户端获取

## 分库表多次获取
use tmp; # a库，b库...
show tables;

整理表间关系

1. 通过步骤【整理hive表】拿到表，找到代码里的管理关系
   比如a与b关联，生成c, c与d关联生成e

source	target
a	c
b	c
c	f
d	f

2. 将如上数据插入mysql

CREATE TABLE `links` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `source` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
  `target` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
  `is_deleted` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
  `gmt_create` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

SELECT source,target FROM `links`;

Python可视化

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import pymysql
import pandas as pd
import json
from pyecharts.charts import Sankey
from pyecharts import options as opts

# 获取数据库数据
def load_links_frame_from_mysql():
    conn = pymysql.connect(host="127.0.0.1",
                           port=3306,
                           user="账号",
                           password="密码",
                           db="数据库",
                           charset="utf8")
    sql = "SELECT source,target FROM links"
    data_frame = pd.read_sql(sql, conn)
    conn.close()
    return data_frame

# 获取nodes
def get_nodes(df):
    nodes = []
    for value in pd.concat([df['target'],df['source']]).unique():
        dic = {}
        dic['name'] = value
        nodes.append(dic)
    return nodes

# 获取links
def get_links(df):
    links = []
    for i in df.values:
        links.append({'source': i[0], 'target': i[1], 'value': 1})
    return links


if __name__=="__main__":
    link = load_links_frame_from_mysql()
    colors = [
        "#67001f",
        "#b2182b",
        "#d6604d",
        "#f4a582",
        "#fddbc7",
        "#d1e5f0",
        "#92c5de",
        "#4393c3",
        "#2166ac",
        "#053061"]

    pic = (
        Sankey(init_opts=opts.InitOpts(width="480px",height="720px")).set_colors(colors)
            .add('大数据表关系图',
                     get_nodes(link),
                     get_links(link),
                     pos_bottom="50%",
                     focus_node_adjacency="allEdges",
                     linestyle_opt=opts.LineStyleOpts(opacity=0.2, curve=0.5, color='source'),
                     label_opts=opts.LabelOpts(position='top'),

                     node_gap=1,
                     )
            .set_global_opts(title_opts=opts.TitleOpts(title='大数据'))
    )
    pic.render('xueyuan_sankey.html')

实际使用中的报错

• Cannot set property ‘dataIndex’ of undefined

此错误由重复数据引起

• Sankey is a DAG, the original data has cycle!

此错误为 source 与 target数据相同引起

参考

• echarts桑基图
• echarts关系图
• 桑基图有何作用，桑基图又是怎么做出来的
• 数据可视化 Python实现Sankey桑基图
• Vue+D3.js实现桑基图 流向图
• Python绘制桑基图之可视化神器pyecharts
• springboot2.0+Neo4j+d3.js构建知识图谱
• 基于Python 利用桑基图
• 用Python绘制诱人的桑基图
• D3.js数据可视化实战
• Sankey图的制作
• Apache Atlas元数据血缘关系（Lineage）功能研究
• 使用Apache Atlas 2.0.0解决数据溯源问题
• python可视化动态图表: 关于pyecharts的sankey桑基图绘制
• pyecharts初步认识

补充

1. 后期调色忽略，图谱后期再处理；
2. 有相关数据治理方面的，可以相互探讨和学习