fengjian的博客

DataHub元数据管理与治理

本篇文章通过剖析数据血缘的挑战，展示了图数据库，尤其是**Neo4j**，如何凭借其高效的图结构模型和强大的查询能力，解决这些难题。文章涵盖了从Neo4j的基本操作到实际案例中的应用，以及如何利用Cypher查询语言直观管理数据血缘，最后分享了在实际开发中的最佳实践

SQLGlot 可以让你对代码库中的 SQL 实现程序化理解。它能够创建测试和检查，以深入分析你的 SQL，并在源头识别错误或反模式。SQLGlot 提供了标准化不同数据仓库中 SQL 结构的 API，使它成为开发者的多用途工具。目前已经支持24种不同的sql语法了，就凭这个，也太值得用了。这是它的git地址，目前已经6.8K stars。

导读：在这篇文章中，我讨论了如何使用 conda 管理 Python 项目环境，以避免依赖冲突，然后基于 Flask 创建一个简易的 DataX 数据血缘工具。在 requirements.txt 中指定依赖，创建一个简单的 Flask 应用，以 /query 接口通过解析 DataX 的 JSON 和 SQL 配置来获取表的任务信息。核心解析逻辑放在 DataxParser 类中。开发中探讨了提高查询效率的可能性，比如提前解析并存储数据。

如何使用 Python 构建简易的 DataX 数据血缘工具，以便解决 DataXWeb 在查询表上下游关系时的不足。

影响报表最小的情况想做动态排序

在部门表里有 部门id (dept_id) 和 父部门id (parent_id) ，父部门id同时也是部门id。现在要查部门id下所有的子部门id，但是不知道部门层级，部门关系可能也会调整。

适用于常规的mysql-ddl到doris-ddl的整库转换，附全部代码

DS的接口如何找，授人以鱼不如授人以渔。

dolphinschedulerg工作流批量导入与上线。

提供DDL生成datax的json

飞书打卡快捷指令

一问搞定linux初始化，安装jdk maven docker docker-compose

java程序打包成exe在无java环境执行

考虑到原来默认admin账号的密码过于简单，需要修改，但是DataEase已经使用了，不能影响原来的数据，因此不能更换镜像。相关文章，有需要的话 可以看看前面几篇DataEase二开记录–踩坑和详细步骤（一）DataEase二开记录–踩坑和详细步骤（二）DataEase二开记录–踩坑和详细步骤（三）增加权限功能。

业务中sql可能不完全满足使用，需要转换成DataStream 更灵活一些，所以需要互相转换，发挥各自的优势。

完整案例，可以直接使用。flinksql 消费kafka整体来说是十分简单好用的，使用时门口较低，实时性又高

这篇文章是关于dataease的权限管理的，开源版本是没有权限管理的，任何账号看到的东西都一样，显然，这不能满足正常的使用。

最近在看DataEase，发现挺好用的，推荐使用。用的过程中萌生了二开的想法，于是自己玩了玩，并做了一些记录。