与衫-CSDN博客

原创 [特殊字符] 解决 DataHub 无法解析复杂 SQL 血缘的问题（gsp-datahub-sidecar 实测）

前提：你已经有一个运行中的 DataHub（GMS 默认 http://localhost:8080）👉 gsp-datahub-sidecar 可以有效解决 DataHub 无法解析复杂 SQL 的问题。DataHub 无法解析复杂 SQL 血缘。这些字段都是有关联的。

2026-04-18 16:48:25 324

原创用 Gudu SQL Omni 加速数据库迁移

用 Gudu SQL Omni 加速数据库迁移— 从 Oracle 迁移到 PostgreSQL 的最佳实践指南一、数据库迁移的痛点企业数据库迁移项目（尤其是 Oracle 迁移到开源数据库）被公认为高风险、长周期的工程任务。某大型金融机构的迁移案例显示，一个中等规模的 Oracle 系统（约 3000 个存储过程 + 50 万行 SQL）往往需要 12~18 个月才能完成全量迁移，其中 SQL 兼容性改造占据了 60% 以上的工时。造成这一困境的根本原因在于：Oracle 与 PostgreSQL 之间存

2026-03-12 20:18:29 213

原创 Gudu SQL Omni 技术深度解析

Gudu SQL Omni 通过将专业级 SQL 解析能力与 AI 推理深度融合，突破了传统 SQL 工具的边界。无论是数据库迁移项目、数据平台建设还是日常开发提效，Gudu SQL Omni 都能显著降低技术门槛、提升团队生产力。

2026-03-12 20:17:53 402

原创如何将SQLFlow工具产生的血缘导入到Datahub平台中

摘要本文介绍了如何将SQLFlow工具生成的数据血缘关系导入到Datahub平台。通过分析一个包含多表连接和子查询的复杂SQL示例，展示了SQLFlow如何解析表级和字段级血缘关系。文章详细演示了血缘分析过程，包括识别中间结果表和最终输出表的来源路径。最后提供了Python脚本示例，说明如何将SQLFlow导出的JSON格式血缘数据通过Datahub REST API导入到平台中，包括创建数据集和建立血缘关系的关键步骤。该方法为企业数据治理提供了实用的元数据管理解决方案。

2026-02-18 20:29:56 766 5

原创 Gudu SQL Omni：一款真正“在本地完成”的 SQL 血缘分析与数据治理利器

在数据治理、数据资产盘点、指标口径管理的过程中，SQL 血缘分析几乎是绕不开的一环。很多团队在实践中都会遇到类似问题：SQL 很多，但字段来源搞不清改一个字段，不知道会影响哪些下游报表想做数据治理，却发现血缘分析成本极高大多数工具依赖数据库扫描或服务端解析，落地门槛高、改造成本大Gudu SQL Omni 正是在这样的背景下诞生的一款工具 ——它的目标非常明确：让 SQL 血缘分析真正变成一件“轻量、可落地、工程师愿意用”的事情。Gudu SQL Omni 是一款面向数据工程师、后端工程师、数据治理团队的

2026-01-03 20:32:27 951

原创 SQLFlow × 高斯数据库：构建可治理、可追溯的数据底座

选择 SQLFlow，你将获得：✅ 高斯数据库友好的 SQL 解析能力✅ 字段级血缘与影响分析✅ 数据治理与审计基础能力✅ 国产化生态适配能力SQLFlow 不只是一个工具，而是高斯数据库数据治理能力的放大器。

2025-12-17 21:23:31 443

原创 SQLFlow 全面支持高斯数据库（GaussDB），让复杂 SQL 血缘一目了然

高斯数据库解决的是 “数据如何存储” 的问题，而 SQLFlow 解决的是 “SQL 如何被理解和治理” 的问题。通过对高斯数据库的深度支持，SQLFlow 为企业构建了可靠的 SQL 血缘与影响分析能力，真正让数据资产看得清、管得住、改得稳。

2025-12-17 21:21:00 902

原创 [特殊字符] 基于 AdventureWorks 的 SQLFlow 数据血缘分析研究

AdventureWorks 是理解企业数据血缘的完美案例。通过 SQLFlow，我们能清晰地追踪表与字段之间的结构依赖。

2025-11-17 21:10:19 1199

原创 [特殊字符] Gudu SQL Omni 在数据治理体系中的落地实践指南

数据治理的核心，不是文档齐全，而是依赖透明。Gudu SQL Omni 让透明化从开发阶段开始。用它，你可以轻量、无痛地把治理“嵌入”开发过程，把每一条 SQL 都变成可追溯、可审计、可共享的资产。

2025-11-04 20:53:47 404

原创 Gudu SQL Omni 的底层逻辑揭秘：它是如何在本地完成列级血缘分析的？

特性传统 Web 工具运行位置本地 VS Code云端安全性✅ 不上传SQL❌ 需上传SQL解析粒度列级表级方言支持多有限性能秒级网络依赖成本免费试用商业授权如果你对“SQL 血缘”不仅想用，还想真正搞懂底层逻辑，那么 Gudu SQL Omni 是一个既能用、又能学的好工具。

2025-11-04 20:51:30 799

原创从混乱 SQL 到清晰血缘：Gudu SQL Omni 如何让团队协作更高效

在日常工作中，Gudu SQL Omni 已经成为我查问题、审查 SQL、写文档的标配。它让血缘分析不再是“平台的事情”，而是开发者随手就能做的事。

2025-10-26 19:46:08 463

原创 SQL 调试不再靠猜：Gudu SQL Omni 让血缘分析一键可视化

Gudu SQL Omni 是一款嵌入 VS Code 的 SQL 静态分析插件，能自动生成：🔹 列级血缘图（字段到字段的映射）🔹 影响分析图（修改字段前可看影响）🔹 ER 图结构视图并且，它完全离线运行，不上传 SQL，适合企业内网或安全敏感场景。

2025-10-26 19:43:48 456

原创 SQL 血缘分析不再难：我用 Gudu SQL Omni 提升了数倍效率

Gudu SQL Omni是一款专为数据工程师打造的VS Code插件级SQL血缘分析工具。相比传统Web工具，它具有本地运行、无需部署、安全可靠等优势，支持30+SQL方言解析和字段级血缘追踪，可快速生成交互式血缘图和ER图。实际测试中，500行Hive SQL仅需2.8秒即可完成分析。与SQLFlow等工具相比，该插件更轻量、易用且完全离线，特别适合个人开发者和中小团队快速使用。目前提供免费版本，可通过VS Code插件市场获取。

2025-10-18 14:04:44 506

原创在 VS Code 里看清你的数据流向：Gudu SQL Omni 实测体验

Gudu SQL Omni是一款嵌入VS Code的SQL血缘分析插件，支持30多种SQL方言（如MySQL、Hive、Spark等），可离线进行字段级血缘分析、影响分析和ER图生成。安装简单，右键SQL文件即可分析，3秒内处理300行复杂SQL，清晰展示字段流向。相比传统工具，它无需外网、安装便捷且免费试用，适合数仓工程师、ETL开发等人员提升效率。所有分析在本地完成，保障数据安全。

2025-10-18 14:00:56 892

原创从子查询和CTE中发现数据血缘

第一种方法是在子查询中使用UPDATE语句。第二种方法是使用带有2个子查询的UPDATE语句。第三种方法是使用具有相同结果的CTE（公共表表达式）。下面的SQL语句用于根据CCF_BAK表的PARENT_TABLE列更新CCF表的PARENT_TABLE列。它有三种不同的写法。SQLFlow可以从所有3个SQL语句中发现数据沿袭。从子查询和CTE中发现数据血缘。SQL非常灵活，可以用许多不同的方式编写SQL语句来实现相同的结果。

2024-10-13 16:40:04 486 1

原创掌握嵌套子查询：复杂 SQL 中 * 列的准确表列关系

本文重点讨论在具有 * 列的嵌套子查询中建立表和列之间正确关系的挑战。使用 Teradata SQL 代码示例来说明该过程。本文聚焦于一个别名为 SUBSCRIBER_ 的子查询及其派生的列，这些列在外层查询中被使用。有些列在子查询的选择列表中被明确列出，而其他一些列则来自一个列（SUBSCR.），这个*列引用了 PRD2_ODW.SUBSCRIBER_ 表。接着，分析检查了外层查询的选择列表，特别是来自 SUBSCRIBER_ 子查询的列。

2024-10-05 00:24:42 1082

原创案例分享: 数据资产管理平台集成SQLFlow数据血缘分析工具

用户数据血缘分析能力可覆盖数据系统建设中各类血缘采集场景需求，对数据加工脚本精准解析，形成数据血缘关系图，回答出“数据从哪里来，到哪里去”的问题，对数据治理、数据挖掘、数据质量、数据分析等方面都有极为重要的作用。在数据质量中检查出问题的时候，通过数据血缘关系图，可以清晰的看到数据产生、流转、使用的整个前后过程，方便的了解到数据的处理过程是否符合数据质量处理要求。除了SQL分析得出的血缘外，用户还有一些手工整理的血缘数据，希望将这些血缘跟分析出来的数据血缘进行合并，能看到更完整的数据血缘流图。

2024-07-10 12:38:43 1531

原创案例分享：数据集市搭建方案中集成SQLFlow数据血缘分析工具

submitter会拉取最近30天的Redshift日志，并将日志文件中的sql提取出来存为后缀为sql的文本文件，同时submitter还会连接Redshift数据库将完整的元数据提取出来存为metadata.json, 最后submitter将提取到的sql文件和metadata.json压缩成一个zip包，递交给SQLFlow做数据血缘分析。4、数据加载：将转换后的数据加载到 Redshift 的持久化表中，这一步骤也会产生数据血缘关系，记录了数据从临时表到持久化表的移动。

2024-07-04 18:34:20 1044

原创马哈鱼SQLFlow Lite的python版本

是一款用来分析各种数据库的 SQL 语句和存储过程来获取复杂的数据血缘关系并进行可视化的工具。Gudu SQLFlow Lite version for python 可以让 python 开发者把数据血缘分析和可视化能力快速集成到他们自己的 python 应用中。Gudu SQLFlow Lite version for python 对非商业用途来说是免费的，它可以处理 10k 长度以下的任意复杂的 SQL 语句，包含对存储过程的支持。

2024-01-30 17:26:09 1843

原创【最新版本教程】GPT4暂停升级也可硬升！

本教程亲测整个过程，没有问题。步骤：1、有自己的3.5账号（没有的可以自己去注册，据说现在不用手机号了，方法自己查去）；2、解决国外银行卡的问题。）这家国内的公司应该是专门解决这个问题的，有效期2年的美国银行卡，提供虚拟地址、在线客服可直接帮助升级到4，当然了开卡要一次性给两年年费，算下来100元RMB，其它费用无。之后就自己充钱，每个月扣20刀，也可随时退订。这当然比那些国内卖300多一个月，并且还不稳定的账号便宜得多了。3、使用4。

2023-12-06 12:18:20 1121

原创马哈鱼数据血缘工具免费使用

2023年8月和9月注册的用户可免费获得价值 3000 元的一年高级帐户，可以使用马哈鱼数据血缘工具全部付费功能。注册完成后，请联系 support@sqlflow.cn进行升级。马哈鱼数据血缘工具从2023年8月开始开通国内云版本的服务，相比国外版本，访问速度有很大的提升，访问域名为https://v.sqlflow.cn。

2023-08-16 19:35:28 592

原创马哈鱼 v.sqlflow.cn 上线试用

2023年8月和9月注册的用户可免费获得价值 3000 元的一年高级帐户，可以使用马哈鱼数据血缘工具全部付费功能。马哈鱼数据血缘工具从2023年8月开始开通国内云版本的服务，相比国外版本，访问速度有很大的提升，访问域名为。

2023-07-29 16:19:23 353

原创大数据治理：数据安全

数据安全 (Data Security)一般指保护重要的、机密的纸质信息或数字信息，防止未经授权的非法访问、泄露、篡改、丢失、损坏、数据滥用等情形。数据安全涵盖的范围非常广泛，包括存储数据的硬件设备、访问数据的软件环境、访问权限控制、相关的规章制度等。说到数据安全，最常见的话题就是数据库安全和数据隐私。。有时还会加上问责制一同构成 CIA+A 四要素。CIA 三要素。

2023-06-14 17:05:27 1873

原创大数据治理入门系列：数据质量

无论您是数据领域的专业人员，还是其他领域的非专业人士，也许都曾遇到过数据不完整、数据过时、数据不一致、数据不准确等问题。这些低质量的数据不仅没能解决最初的疑问，甚至还可能衍生出了其他问题。质量低劣的数据会影响数据分析结果，误导业务决策，造成经济或其他方面的损失，损害使用者的信心。因此，为了避免这类问题，组织机构有必要把控数据质量。数据质量也是的重要一环。。但从广义的层面而言，数据质量还可以包括定义数据质量标准、监督和维护数据质量的规则、流程、具体实施。

2023-06-12 20:35:53 3330

原创 Datahub安装教程

DataHub是由LinkedIn的数据团队开源的一款提供元数据搜索与发现的工具。目前SQLFlow已经具备集成Datahub的功能。有关如何集成SQLFlow到Datahub可以参考。

2023-06-10 17:20:06 1801

原创大数据治理入门系列：数据管理

在如今的大数据时代，每天都会产生大量的新数据，已有数据可能也会频繁更新或转换。因此，需要对数据进行治理和管理，以便高效地开展数据分析、获取数据洞见、挖掘数据价值。否则，杂乱无章的数据只会白白浪费存储空间，甚至可能存在错误的数据误导组织结构的决策制定和发展方向。

2023-06-06 09:48:01 496

原创大数据治理入门系列：数据目录

在一文中，我们曾将数据比喻为一本本的书，将书的作者、出版时间等信息比喻为元数据。试想一下，假如你是一名新任的图书管理员，如何快速掌握图书馆的馆藏情况呢？假如你是一名读者，如何快速找到你需要的图书呢？想必你需要一份内容完整、结构清晰的图书清单。同样地，。这就是本文要介绍的数据目录（Data Catalog）。

2023-06-03 22:05:17 3285

原创大数据治理入门系列：元数据管理

介绍元数据管理之前，首先需要了解什么是元数据。

2023-05-30 09:44:09 893

原创大数据治理入门系列：数据治理

在信息经济时代，数据是企业的一大关键资产。为了制定科学、有效、合理的决策，企业需要收集大量的数据并进行各种数据分析，为决策提供依据。在此过程中，收集数据的速度、数据的质量和可靠性、对数据的分析过程、合适的分析工具等，都对最终决策具有显著影响。这些其实都属于数据治理的范围。

2023-05-27 21:14:29 1249

原创大数据治理入门系列：数据血缘关系

血缘关系在人类社会中扮演着重要角色。大多数家庭是基于血缘关系形成的，而家庭作为社会的基本单元，对维系社会稳定发挥着重要关系。其实，数据之间也存在类似的血缘关系。数据从产生、加工、流转，一直到消亡，每个环节必然存在一定的联系，这种联系就是数据的血缘关系。数据血缘关系（Data Lineage) 是对数据在系统内、系统间、业务线之间的流动和转换过程的记录，通过这份记录可以追溯数据的源头，跟踪数据的流转历史，查看数据在某一时刻的状态，寻找数据的最终去向等。

2023-05-25 10:24:04 2218

原创马哈鱼SQLFLow直接数据流介绍

本文将介绍一些生成直接数据流的SQL元素，这些元素是生产数据流的主要原型。

2023-05-22 20:10:44 692

原创使用马哈鱼SQLFlow分析聚合函数中的数据流列

聚合函数通常将列作为参数，在本文中，我们将讨论在用作函数参数的列和聚合函数之间创建什么样的数据流。

2023-05-18 20:56:30 682

原创使用马哈鱼SQLFLow 1 分钟获取复杂 SQL 语句的血缘关系

数据血缘关系在企业的数据治理中是非常重要的一个环节，关于数据血缘在企业数据治理中的重要作用，可以。SQL 语言在数据处理中被广泛使用，SQL 语句中包含了丰富的数据血缘关系，关于什么是 SQL 中的数据血缘，如何发现这些隐藏在 SQL 语句中数据血缘，请。本文主要介绍如何利用提供的 UI，Rest API 及 Java 库来快速获取复杂 SQL 语句中的数据血缘，并根据需要，集成在自己的数据治理平台中。

2023-05-13 09:35:30 1398 1

原创马哈鱼SQLFLow数据流生成介绍

马哈鱼(SQLFlow)结构视图如下，它由客户端、前端、后端分析引擎三个基本组件后成，用户可以通过浏览器将要分析的SQL语句传递给前端，前端进行语法校验及分析参数设定等工作，然后将配置完成的逻辑发送给后端分析引擎，分析引擎生成数据血缘关系模型后交给前端生成图形化展示给用户。

2023-05-12 14:57:46 1072

原创马哈鱼SQLFLow对SQL Server OUTPUT Clause 的数据血缘分析

从中我们可以知道，OUTPUT Clause 可以从 INSERT, UPDATE, DELETE, or MERGE 返回变动的的数据集，我们可以对这些返回的数据进行再加工，例如插入到其他目标表中，从而在不同的表中建立数据关联，形成数据血缘关系。SQL Server OUTPUT Clause 会对 SQL 语句的血缘分析产生影响，如果忽略对 OUTPUT Clause 的分析，那么将漏掉一些关键的数据血缘关系，从而影响数据血缘分析的准确性，进而影响组织的数据治理质量。

2023-05-10 20:10:05 642 1

原创马哈鱼SQLFLow对Oracle 存储过程中 execute immediate 语句的血缘解析

一个数据血缘/数据沿袭分析工具如果无法分析被 execute immediate 执行的语句，例如上例中的 insert 语句，那么一些关键的数据血缘关系将会被遗漏。Gudu SQLFlow 分析上面的 SQL 语句后，将给出下图的数据血缘/数据沿袭，保证了数据血缘关系的完整性。在 Oracle 数据库的数据血缘/数据沿袭分析过程中，我们会碰到 execute immediate SQL 语句。

2023-05-10 20:04:48 563

原创 Hive SQL 中 map, reduce 的数据血缘分析

在数据血缘分析中对这些 Hive SQL 特有的 SQL 语法的支持，是马哈鱼数据血缘关系分析工具和一般数据血缘分析工具的一个重要区别，对这些特殊 SQL 语法的支持，为企业的数据治理提供了完整的数据血缘，可以更好的提高数据质量，让企业的海量数据的在数据挖掘和智能分析中发挥更大的作用。如果你正在使用 Hive SQL 来处理企业数据仓库中的大数据，进行数据的清洗、转换、计算等工作，那么，可以为你自动梳理这些数据的血缘关系，告诉你数据的来龙去脉，极大的提高你的工作效率和数据治理水平。

2023-05-09 12:36:44 1955 1