数据表模型
越烟
技术比较 杂乱, 前端后端 都会点, 现在想往oracle DBA方向发展
展开
-
自动化数据治理功能
最近在搞数据自动化治理,上次手中设计的数据全自动化ETL功能设计,令人欣慰的2个多月没有人管理,维护。周五时候看竟然完全符合预期。数据服务正常, 数据结果正常。程序执行正常, 日志输出正常。 期间还有大概半个多月的“护网”行动,断网测试等。丢失的数据也全部找回了。部分缺失数据,还给出了“源头数据缺失”等异常提示。 想想也在意料之中,因为本身就是按照这个设计的。 这两个多月中, 主要忙其他事情了, 比如数据自动化治理等。按照上次设计的ETL功能设计, 数据治理理念也是一个套路, 现在主要说说,这边的数据治理.原创 2020-10-25 11:37:01 · 844 阅读 · 2 评论 -
数据模型转变问题总结与思考
背景: 目前在做数字化审计时候某业务需要在Oracle中跑的长SQl,需要弄到hive中跑。原本Oracle中又不注意表设计。业务又复杂,所以SQL就很长。而且Hive 中很多Oracle函数中还跑不起来。 业务简述: 我先把业务描述下。就是计算某个步骤(APP_NO)的5个核心子步骤(process_id)的耗时。 比如: 表结构大概: 1个APP_NO 对应多个 proces...原创 2019-12-17 14:48:36 · 623 阅读 · 0 评论 -
表模型改造
最近遇到 表改造 问题, 发表文章纪念之 表模型设计 感觉 一项技术活, 满足不可预见的功能添加, 不可能 添加一个字段, 整个项目代码 换血。 其次性能 要求,起码保证业务常态, 和高峰状态下性能平稳。 最牛逼的是 满足性能的可线性扩张。 废话不说, 上干货。 现在的业务, 大概在每 20分钟左右 到一批数据, 到达数据后做原创 2016-07-07 11:08:21 · 394 阅读 · 0 评论