技术之外,工作之内
越烟
技术比较 杂乱, 前端后端 都会点, 现在想往oracle DBA方向发展
展开
-
自动化数据治理功能
最近在搞数据自动化治理,上次手中设计的数据全自动化ETL功能设计,令人欣慰的2个多月没有人管理,维护。周五时候看竟然完全符合预期。数据服务正常, 数据结果正常。程序执行正常, 日志输出正常。 期间还有大概半个多月的“护网”行动,断网测试等。丢失的数据也全部找回了。部分缺失数据,还给出了“源头数据缺失”等异常提示。 想想也在意料之中,因为本身就是按照这个设计的。 这两个多月中, 主要忙其他事情了, 比如数据自动化治理等。按照上次设计的ETL功能设计, 数据治理理念也是一个套路, 现在主要说说,这边的数据治理.原创 2020-10-25 11:37:01 · 844 阅读 · 2 评论 -
PLSQL性能优化案例 36h-30分钟
今天在加班中,本身五一准备钓鱼去的, 我仿佛听到鲤鱼妹妹欢乐的笑声。 加班归加班,但是活并不多,我负责后期数据库调优,数据关联的。 其他公司抽取数据进度不行,听到的回答只是,现在再抽,没有报错,目前抽了多少不知道,速度不知道。 什么时候抽完不知道,方案B没有,二线没有。这够无语的。 后期他们一张560G的大表, 抽取进度 206M/分钟。 而且还是我帮他们评估出来的。 肯定不行,于是换方案...原创 2018-04-30 14:31:31 · 944 阅读 · 0 评论 -
SQL优化纪念,3小时跑不完的SQl,优化到3S。
优化SQL,起码需要看到瓶颈, 针对瓶颈做对应的措施。今天帮同事优化SQL,insert 跑不动,我当时心里一想insert 被阻塞了? 于是心中想起insert 被阻塞的情况, insert 共享行排他锁, 和这个冲突多种情况, 比如 表中有主键,唯一索引等, insert 一条数据不提交, 其他session insert 数据就被阻塞。 当然这个还有其他情况, 我也遇到过几种,以后慢...原创 2018-08-08 18:20:44 · 1308 阅读 · 0 评论 -
2018年 精彩优化系统的总结
WXSJJS数据优化 WXSJJS数据库整体情况看其CPU压力都很小,及时业务高峰期,CPU使用率也不高。压力表现在IO上面高峰期300M/S,通过压力高峰期观察发现离散IO,顺序IO压力都比较大。 经过分析主要压力来源于业务执行的SQL。 分析多份AWR报告发现核心业务需要大量建立临时表, 大部分临时表的名称也是随机的。而用analysis方法收集统计信息的,其...原创 2019-01-17 11:53:24 · 323 阅读 · 0 评论 -
记某XXB系统一次性能优化
虽然干了很多SQl优化。 也写博客记录了很多, 但是貌似没有记录过系统整体优化的, 这次简单记录下吧。 景 XXB系统作为核心的应用系统,具有涉及业务领域多,并发访问量大,累计数据量大等特点。而且随着市场的变化,尤其是在大数据环境下,数据增量明显提高。而用户对性能的要求也进一步提高,给系统性能优化带来新的挑战。 分析 在业务人员的大力度支持下,全面了解系统的业务特点,性能瓶颈。发现业务高峰...原创 2019-04-10 17:11:48 · 2056 阅读 · 0 评论