数据中台
文章平均质量分 55
数据治理的最终目标是提升数据的价值
掘金者说
当你的才华还撑不起你的野心时,那你就应该静下心来学习; 当你的能力还驾驭不了你的目标时,那就应该沉下心来历练。
展开
-
【postgresql】实时查询表字段相关数据
需求:数据库设计时候,是不是变动,想根据实际编号进行查询表字段相关信息。原创 2024-04-29 23:30:00 · 137 阅读 · 0 评论 -
【PowerDesigner】数据库建模工具记录
它支持模型驱动架构软件设计,并使用多种文件扩展名存储模型原创 2023-07-06 22:00:00 · 171 阅读 · 0 评论 -
【Neo4j】图数据库安装和演示
参考:https://blog.csdn.net/weixin_45820190/article/details/116976819。输入:–env NEO4J_AUTH=neo4j/password \ //设定数据库的名字的访问密码(自己设置)参考:https://www.cnblogs.com/caoyusang/p/13610408.html。环境Win10+Docker Desktop+ Neo4j。Cypher来操作Neo4j。寻找容器,拉取容器,查询容器。所有映射端口换了一个。原创 2023-06-26 10:18:46 · 952 阅读 · 0 评论 -
【PostgreSQL】查询库所有表&表字段详情
查询当前库下面所有表英文名称、注释信息;查询当前库下面所有表字段因为名称、所属对应表、数据类型、长度、是否自增、是否主键、是否为空、注释信息原创 2023-06-19 19:15:00 · 3184 阅读 · 0 评论 -
【bug】内存占用过高,当前为[61G]
当时编写的一个datax-plugin插件,进行定时去采集所有数据库(N个库)下面每一张表(n多表)里面到底有多少数据量(记录数),表更新记录数;原先数据量少,后来和不需要关闭了,前几天被小伙伴开起来了,数据量上来了就出现各种问题。内存占用过高、数据库连接不上、依赖版本冲突…改造调整(部分参考代码,提供思路)这两天遇到一个问题,内存高烧不退。原创 2022-08-23 16:36:27 · 534 阅读 · 0 评论 -
【oracle】采集oracle存储过程
寻找oracle库下面所有存储过程,然后进行采集。原创 2022-08-16 15:39:54 · 252 阅读 · 0 评论 -
数据中台-数据分析
一个功能捣腾的个把月,只能说关系太复杂了,期初时候关系很简单,随之而来后面水越来越深。先看看简单版本样貌图影响分析:用于分析元数据自身发生变化时,对其它数据对象的影响分析血缘分析:用于追朔数据的来源全链分析:影响分析+血缘分析...原创 2022-06-14 21:26:50 · 143 阅读 · 0 评论 -
【数据中台】DataX源码进行二开插件
使用的离线数据同步工具/平台,实现不同数据库等各种异构数据源之间高效的数据同步功能。拉取下来的代码,pom.xml里面注释。为了不冲突,开启一个独立分支调整。为了反之与原有冲突,把。原创 2023-08-01 20:30:52 · 346 阅读 · 0 评论 -
数据中台-数据抽取
数据抽取可以使用一个我们常用的工具说明,如下:我们通过来源表和目标表之间的比对,然后把我们想要的数据拿到。上面工具全量抽取。我们可以从datax中学习了解数据同步方式:全量同步(表里面所有数据都提取)、增量同步(可细化为增量时间、增量主键两种方式同步)从增量时间来处理:正常情况增量结束时间大于等于抽取结束时间增量结束时间大于等于当前时间...原创 2022-05-11 14:28:51 · 391 阅读 · 0 评论 -
数据中台-数据采集
数据导图采集不同数据库库、表、字段、函数、外键、存储过程等数据采集1. 获取数据库所有表2. 获取数据库所有字段3. 获取表所有的外键4. 获取表所有的索引5. 获取表所有的触发器6. 获取数据库所有的视图信息7. 获取数据库所有的函数信息8. 获取数据库所有的存储过程实践脚本...原创 2022-05-08 20:03:56 · 2292 阅读 · 4 评论