- 博客(36)
- 收藏
- 关注
RSS订阅转载 exp与expdp在超大表导出的一些体验
我平时用imp/exp更多，但有一次impdp导入1千多万数据的速度给了我很深的印象，于是有一种“IMPDP/EXPDP速度比imp/exp速度更快的观点。这次需要导出两张大表（一张10亿1个T，一张55亿记录2T），自...
2019-01-24 14:47:02
1372
转载 一个不多见的SQL挂起问题
开发人员说前台用户反映操作变慢，要求看一看数据库，一查，没有活动会话在执行SQL，没有锁或阻塞现象，但是，有一台应用服务器的连接比初始化增加了一倍，另外，SQL monitor显示一个SQL处于executing状态...
2019-01-24 11:38:54
191
转载 走索引删除0条记录却要142秒的优化案例
BI库上有个定时删除SQL，目的在于删除一个月之前的数据（即表中的数据只保留一个月）：delete from table1 t where t.update_date<add_months(trunc(...
2018-11-14 19:45:52
213
转载 Oracle在线重定义生产环境大表分区的惨烈踩雷记录
一、任务与方案 公司有一批大表需要分区，由于业务是24X7，所以停服是不可能的，只能考虑在线重定义。在线重定义推出已经很久了（不算新功能），但在生产上，还是没用过，在测试环境进行模拟测试，很顺利，速...
2018-10-13 17:53:15
319
转载 记一次增加分区需要两个小时的优化案例
最近在给生产上一些表增加分区时，遇到了一个很奇怪的问题： 一共5个表，三个表很快，二个表慢，其中有一个表增加一个分区需要3分钟左右，另一个表在交易库上需要16分钟，而在查...
2017-10-04 18:41:04
238
转载 重新定义分区 - 大表分区的彻底解决方案与配套工具
当前生产环境下，已有很多表成长成了记录数上亿，体积2、30G的大表，站在运维的角度：这种大表再不分区，存在性能与管理隐患；分区，需要停机，影响同步，过程痛苦；为什么...
2017-07-01 08:42:05
323
转载 DTCC2017第二天
上午首先是facebook的MyRocks演讲，日本人的英文，能听懂一些，比起innodb,主要是能省空间吧；关于SinoDB的介绍，没有对它与万物互联产生联想，不过了解了infomix的一些历史与现状，不胜唏嘘吧；阿里...
2017-05-12 22:27:33
165
转载 DTCC第一天的总结与收获
今天是DTCC2017的第一天，首先是行程安排得太紧了，导致早餐与中餐都没有吃好，昨晚睡得又不够，下午好想睡觉，没有处在最佳状态，这是最需要检讨的； 上午首先是京东金融的刘总，技术内容没有什么印象，但是发现京东金融的...
2017-05-11 22:56:48
139
转载 “汪汪”立大功
没有一丝丝防备，就像你正在街上散步，突然被人重重一击，几欲倒地，但是只要没有被击倒，结局就难以预料，有些人醒过神来，立马一招制敌，这并不算输。 当然系统的问题与这个例子并不完全适配，我有理由说为什么没...
2017-02-28 00:10:01
109
转载 一次tomcat连接池配置引发的DB高CPU故障小记
早上来之后，发现一台DB的CPU变得很高，Alert不断报连接错误，很快连plsqldev客户端也连不上了，无监听器服务了；从sqlplus上做了一个AWR，load与Db_time这一个小时内变得很高,CP...
2017-02-22 15:40:57
224
转载 Kaggle注册验证备忘录
想从Kaggle这个数据竞赛网站下载移动用户的通信数据，便注册了一下，收到了一封验证邮件，按邮件点击验证，却不能完成，出现了一个页面，显示一个大大的“CONFIRM”，再点击，提示我验证码不对，我晕，根据就没有输入验证码...
2017-02-13 15:41:18
187
转载 bcc-tools安装的折腾小记
linux的动态监控是个精彩的世界，DTrace先不说（受限于oracle),SystemTap就不错，还有Sysdig,除了这些，还有eBPF:bcc-tools，最近在玩bcc-tools,但是安装并不顺利，首先线上...
2017-01-27 10:12:32
1183
转载 关于dba_tab_modifications不能记录CATS的备忘
Oracle有一个视图dba_tab_modifications用来记录表的增删改操作，今天想实际验证下，随手用了CATS语法，人懒图省事，竟然发现在dba_tab_modifications中根本不记录，反复执行“...
2017-01-13 16:19:22
189
转载 一例ora-00911无效字符的处理
同事发给我一个问题：在plsql developer的sql窗口中，运行一个脚本报ora-00911错误，脚本由多行SQL组成，报的无效字符指示在第一个SQL的分号后，首先这个分号已确认是英文半角分号，而且单独运行这一个...
2016-12-15 17:16:35
268
转载 一例ORA-14097报错的分析与处理历程
同事说有一个分区表做分区交换时总是报：ORA-14097: ALTER TABLE EXCHANGE PARTITION 中的列类型或大小不匹配，而中间表是根据分区表CATS而来，理论上是一样的； 我首先对...
2016-10-26 23:05:22
1713
转载 封装dbms_xplan.display_cursor时遇到的权限问题
oracle提供的dbms_xplan包用来显示执行计划那是特别的好，但由于采用了管理函数实现，所以调用时需要加上table()函数，这样就不能直接作为一列返回了，而我恰好有这样一个需求，要显示一个SQL的完整文本与执...
2016-10-24 21:53:16
126
转载 从分区功能比较mysql与postgresql and oracle
现在去IOE声势浩大，感觉现在不懂点mysql,pgsql，光谈oracle的话，都有点不好意思跟人打招呼,作为热爱oracle的人，现在对mysql、PG也不反感，不吹不黑，像我这样的人最专一了：谁给钱给谁干，风往哪...
2016-10-23 23:40:18
385
转载 一次ora-4031事故的反思
前段时间交易库一个节点发生了Ora-4031报错，当时所有的SQL都无法分配共享内存，这又导致session塞车与暴增，从而连sqlplus也连不上了，当时的处理将应用切换到第二节点，然后强行重启第一节点（其余还应先...
2016-10-23 22:55:29
151
转载 用python实现京东热门图书榜的信息采集
虽然上次用excel与notepad++实现了这一功能，但如果要求采集更多甚至是全部的话，那手工还是不行的，为了让这个功能更省事，更有扩展性，趁着周末有时间，我觉得还是用python来实现下。 人生苦短...
2016-10-23 22:17:11
194
转载 利用excel与notepad++采集京东热门图书榜的清单
部门搞图书馆要大家提供需要采购的图书清单，我觉得京东某种类型（数据或开发语言）的综合排序第一天列出的书就是我想要买的，但如何得到这样一份图书清单（主要包含书名、作者、出版社，出版日期）呢？手工搞当然不合适，pytho...
2016-10-23 21:58:21
151
转载 DB插入性能大乱斗 - postgresql vs mysql vs mongodb vs oracle
因为看到德哥的postgresql与mongodb插入100万条记录的比较文章，想动手验证一下，但结论反正让我看不懂了！首先我是在虚拟机上测试，4核8G+存储，centos7.2,mongo3.2.9,postgresq...
2016-08-24 23:09:24
311
转载 python实现每天的数据库性能趋势图表邮件
AWR报告可以告诉我们ORACLE的各项性能指标，但有些关键指标如db_time，趋势往往更能说明问题，所以如果用python实现抓取最近7天的关键指标，并生成excel图表，每天自动发出邮件，这样只要看一看趋势，就对...
2016-08-24 08:53:07
251
转载 Oracle中date类型字段使用timestamp类型参数引发的性能问题
今天遇到一个SQL要跑5462秒，执行计划走错了，成本估算得不对，以致走了索引而不是全表扫描，连接顺序也不对了，由于没有分区裁剪，所以猜想是timestamp参数类型惹的祸，一查字段类型果然是date, 这次是JDBC...
2016-08-09 11:14:09
571
转载 oracle大师们的blog抓取脚本
orcle大师们的博客有很多非常好的文章，光在线读是不够的，尤其是lewis及tanelPoder,timhall的文章，需要精读，如果能抓取下来，转成kindle的格式，利用碎片时间去读，是个较好的方式，利用pyt...
2016-07-31 10:44:06
79
转载 采用domains来规范开发团队的数据库字段设计
对于数据库设计，每个设计人员往往有自己的爱好与风格，这就容易带来一个问题：意义相同的字段在不同的设计人员下有可能有不同的名称、数据类型、或长度，首先，这显得很不规范，更重要的是可能引发潜在的数据类型转换、长度不够等问题，让...
2016-07-20 08:54:45
301
转载 开发DBA工具集之PACKAGE及SQL及任意文本快速比对
plsql developer大约从v10起提供了一个compare to的右键菜单，藏得很深，只有在procedure窗口中才能看到，虽然功能上能实现PKG与文件或其他数据源的比对，但使用并不多（对个人而言是这样），而...
2016-07-19 22:51:15
151
转载 开发DBA工具集之my sosi
sosi是个好脚本，但命令行老是觉得用不来，所以作了个右键菜单，当选择一个表时，右键： 会显示一个简化了但又有一些变化的sosi:2016-08-10更新：增加了显示索引详细信息的功能； ...
2016-07-18 23:20:34
82
转载 开发DBA工具集之SQL profile快速生成
生产环境难免会有一些执行计划走得不好的SQL，需要快速解决问题的话，Sql profile是不错的方式，但生成sql profile也有点麻烦，主要是outline需要在行首与行尾作些文本处理，有个cos的脚本是命令行的...
2016-07-18 23:09:31
92
转载 开发DBA工具集之AWR/ASH报表快速生成
我偶尔还得用一下toad的原因之一就是它的AWR/ash/addm报表图形化生成很方便，但为了这个就得安装一个体积巨大的青蛙吗？其实真正的关键还是toad是收费的,^_^,我只想快速生成AWR/ash报告而已，所以，自己...
2016-07-18 22:51:53
233
转载 开发DBA工具集之Show sql monitor
在数据库性能优化中，查看oracle的“慢SQL”是很经常的事，如果把这事用图形化来简化一下，会更方便，效率也会高一点,看图，不解释： 选择想看的SQL行，点击“显示详情”： ...
2016-07-18 22:37:00
109
转载 开发DBA工具集之Show plan detail
黄玮大师写了一个巨牛的SQL，可以把一个SQL的执行计划的相关信息都显示出来，是SQL性能优化的利器，但毕竟不太习惯SQLPLUS的命令行界面，在实际的环境中，用plsql developer连接保垒机更为顺手，所以我...
2016-07-18 22:00:56
141
转载 开发DBA工具集之表空间自动扩展
一般而言，在生产上表空间不宜自动扩展，DBA通过监控去维护会更靠谱，所以创建表空间的SQL不是自动扩展的，但这在开发与测试环境却有可能报错，因为这些环境没有专门的DBA维护，一遇到报错ora-01654 表空间不能通...
2016-07-18 21:48:29
142
转载 开发DBA工具集之PDM比对与更新
当数据库开发人员设计表结构时，有些人喜欢先用powerDesiner设计好PDM，再生成对应的SQL，但有些人却更习惯先写好或拷贝得到SQL，再去维护PDM，在一个大多数开发人员习惯于后者的环境里，PDM的更新与维护成...
2016-07-18 21:26:34
325
转载 开发DBA工具集之export to word（表导出到word)介绍
什么场景下会想要把数据库中的表导出到word文档中？就个人而言，有两种：一、写数据库设计文档时，需要把表与字段的设计转成word，设计评审时要看，直接导出首先方便快捷，而且格式规范统一；二、面对一个新数据库时，如果快...
2016-07-12 18:09:20
228
转载 MyDbTools开发DBA工具集使用说明与下载
MyDbTools是一个自行开发的plsql developer插件，目的是把一些常用的工具收集在一起，常用脚本图形化，“打造开发DBA的瑞士军刀"，以方便使用，提高工作效率；...
2016-07-07 22:58:02
273
转载 浪潮K-DB深圳开放日的活动体验
第一次听说K-DB源自杨建荣老师的博客，K-DB直接对决ORACLE，而且是分组现场调优，这种活动够吸引，更没想到Oracle组用尽各种调优手段竟然还未占上风，可把小伙伴给惊呆了，如果是媒体或别人这么说，我不可能相信，但...
2015-12-16 00:01:10
84
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人