数据库
文章平均质量分 78
python与大数据分析
24年IT工作经验,《IT项目管理那些事儿》一书主编,《剑破冰山-oracle开发艺术》一书合著者,曾在华为、HP、移动、电网等国内外知名IT企业任职;关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、大数据平台、数据仓库、系统架构、数据治理、数据分析、机器学习、大中型项目管理、部门管理等方面有一定研究,从0到1完成PB级大数据平台规划、架构、模型、建设、应用。
展开
-
一个Oracle小白的AWR报告分析(三)
前文分析了Workload repository report for (负载信息库报告)、Report Summary(报告摘要),接下来一项重要的事情是关于等待事件统计。等待事件统计主要包括以下信息: 时间模式统计 操作系统统计 操作系统统计详细信息 前台等待类 前台等待事件 后台等待事件 等待事件直方图 等待事件直方图详细信息(64毫秒到2秒) ...原创 2020-12-30 23:37:26 · 263 阅读 · 0 评论 -
一个Oracle小白的AWR报告分析(二)
背景:某个类似准实时的数据分析系统,每15分钟从其他6个数据库中抽取五百张增量数据表,并进行15分钟粒度统计,同时有个前端门户进行查询。该数据分析系统由数据抽取服务器、应用服务器、数据库服务器组成,全部为虚拟机环境。问题:当数据抽取定期执行时,应用门户每个页面访问都极其缓慢,10分钟无法响应,甚至无法打开。初步诊断:厂家一直认为是磁盘问题,甚至准备采用读写分离方式优化。具体诊断:以数据来说话,以AWR报告为依据,评估和定位问题核心所在。很久没研究Oracle了,最后正式使用Oracle还原创 2020-12-29 00:09:19 · 692 阅读 · 0 评论 -
一个Oracle小白的AWR报告分析(一)
背景:某个类似准实时的数据分析系统,每15分钟从其他6个数据库中抽取五百张增量数据表,并进行15分钟粒度统计,同时有个前端门户进行查询。该数据分析系统由数据抽取服务器、应用服务器、数据库服务器组成,全部为虚拟机环境。问题:当数据抽取定期执行时,应用门户每个页面访问都极其缓慢,10分钟无法响应,甚至无法打开。初步诊断:厂家一直认为是磁盘问题,甚至准备采用读写分离方式优化。具体诊断:以数据来说话,以AWR报告为依据,评估和定位问题核心所在。很久没研究Oracle了,最后正式使用Oracle原创 2020-12-16 00:09:41 · 750 阅读 · 0 评论 -
关于数据库对象版本比较的脚本
原创于2006年12月28日,2009年10月15日迁移至此。项目原因导致出现两个开发环境,主数据库环境因需求变更每天都需要进行脚本的修改,而报表服务器的脚本也需要同步更新,需求变更很少会同步提醒的;人工判断太过于麻烦,我又是一个懒人;只好写个脚本自动进行识别并加以运行了。这只是一个简单的版本比较工具,事实上变更是很难判断的,例如表中新增了一个字段,导致顺序发生变更,这原创 2009-10-16 22:39:00 · 971 阅读 · 0 评论 -
检查数据库数据字段命名规范和合法性的脚本
原创于2007年11月13日,2009年10月15日迁移至此。做开发DBA重要的是经常要检查开发人员或建模人员对数据库的命名规范是否严谨。。。关键字详细信息可以查看v$reserved_words视图--检查不符合数据库命名规范的字段名Select TABLE_NAME,COLUMN_NAME,DATA_TYPE From user_tab_原创 2009-10-16 22:36:00 · 1621 阅读 · 2 评论 -
关于Oracle 01122,01110,01207的错误和解决
原创于2007年04月12日,2009年10月15日迁移至此。windows xp,数据库oracle 10.2.0。1没有备份,基本上是默认安装,好像还不是归档模式症状:sqlplus只有sysdba用户能进去,其他用户进去一概报:ora-01033:oracle正在初始化或关闭而且sysdba用户进去之后能执行select sysdate from dua原创 2009-10-16 22:08:00 · 1875 阅读 · 3 评论 -
关于解决SQLServer大小写敏感的办法
原创于2006年12月04日,2009年10月15日迁移至此。原因:在运行一个纬度抽取调度包时出现错误提示,通过定位发现p_dem_XXX存储过程运行失败。经诊断,发现与字符集的安装和程序息息相关!分析:维度抽取失败通常的情况下是维度表结构t_dem_XXX和业务系统基础表结构t_pub_XXX不一致,或者为字段长度不一致,原创 2009-10-16 22:24:00 · 7289 阅读 · 0 评论 -
关于SAVEPOINT和自定义异常使用的一点看法
原创于2008年01月10日,2009年10月15日迁移至此。前两天有同事问怎么样才能控制存储过程中的回滚和提交,以及如果某个环节发生错误之后怎么样退出该存储过程,想了两天才算是有点小眉目了。Rollback to savepoint;回滚之前所有做过的事情但不包括块和其他savepoint里面的事务SavePoint 应原创 2009-10-16 22:42:00 · 949 阅读 · 0 评论 -
关于Window操作系统中对Oracle的性能监控
原创于2006年12月15日,2009年10月15日迁移至此。 目的本文是为了测试数据仓库的实时数据抽取功能对源数据库和操作系统的性能的影响。由于Windows操作系统未提供类似于UNIX下的Top、ps、vmstat等CPU、内存、I/O监控工具,同时 Oracle作为操作系统下原创 2009-10-16 22:20:00 · 3262 阅读 · 0 评论 -
关于SQL92标准和Sybase,SQLServer2000,Oracle的数据类型对比关系
原创于2007年04月12日,2009年10月15日迁移至此。 关于SQL92标准和Sybase,SQLServer2000,Oracle的数据类型对比关系图表和相应的差别,整理的主要原因在于从网上搜索的信息大部分都有误,而且数据迁移和数据仓库项目需要对各种数据库都有所了解才行。差异:SQLServer版本为2000版本,Sybase版原创 2009-10-16 22:27:00 · 1865 阅读 · 0 评论 -
关于数据库查询中的几种连接
原创于2006年12月28日,2009年10月15日迁移至此。 在关系代数中,连接运算是由一个笛卡尔积运算和一个选取运算构成的。连接的全部意义在于在水平方向上合并两个数据集合(通常是表)。下面是几种常用的连接类型:原创 2009-10-16 22:32:00 · 952 阅读 · 0 评论 -
关于外键约束和对应主键信息的查询脚本
原创于2006年12月28日,2009年10月15日迁移至此。初衷是想根据表中存在的外键信息得到相应的索引脚本,后来才扩展到获取相应的主键字段,大同小异。这些系统表都是相类似的,例如user_cons_columns 和user_constraints, user_indexes和user_ind_columns定义一个函数,把多列的约束字段以逗原创 2009-10-16 22:38:00 · 864 阅读 · 0 评论 -
获取SQLServer的最完整数据字典的SQL语句
原创于2008年06月18日,2009年10月18日迁移至此。获取SQLServer的最完整数据字典的SQL语句 其实网上已经流传了很多关于获取SQLServer的数据字典的版本,不过我相信这个应该是最全的了,本语句包括了表、字段、字段类型、字段长度、是否为空、是否递增字段、索引名称、索引的定位、索引类型、主键、外键等原创 2009-10-18 22:21:00 · 13960 阅读 · 3 评论 -
关于SQLServer死锁的诊断和定位
原创于2008年06月18日,2009年10月18日迁移至此。关于SQLServer死锁的诊断和定位 在SQLServer中经常会发生死锁情况,必须连接到企业管理器—>管理—>当前活动—>锁/进程ID去查找相关死锁进程和定位死锁的原因。ITPUB个人空间4eD!w!`JD原创 2009-10-18 22:21:00 · 1015 阅读 · 1 评论 -
关于SQLServer2000的全文检索使用心得
原创于2008年06月28日,2009年10月18日迁移至此。之前曾经指导SQLServer2000的全文检索功能,不过不太清楚它的实际操作步骤和功能,现特地作了一次完整的实验,对SQLServer2000的该功能,做了一番了解。 --验证全文检索服务是否安装--通过储存过程FULLT原创 2009-10-18 22:26:00 · 1638 阅读 · 0 评论 -
关于触发器在行级和语句级的执行顺序问题
原创于2008年01月30日,2009年10月18日迁移至此。原来总是对触发器的几种写法和执行先后顺序感到困惑,找了个时间把Oracle的官方文档看了一下,然后做了几个例子,终于有点明白了。:Types of Triggers触发器类型Row Triggers and Statement Triggers行级触发器和语句级触发器BEFORE and AFTE原创 2009-10-18 22:26:00 · 3948 阅读 · 0 评论 -
关于Oracle的高水平线
原创于2009年01月10日,2009年10月17日迁移至此。关于Oracle的高水平线 high water mark故名思义为高水平线,一般是相对一个表而言的,当一个表有数据不断的插入时,high water mark值不断增高,对那些全表扫描的select查询是以high water mar原创 2009-10-19 22:29:00 · 3170 阅读 · 0 评论 -
Oracle的逻辑结构(表空间、段、区间、块)——Oracle数据块(一)
原创于2009年02月10日,2009年10月22日迁移至此。Oracle的逻辑结构(表空间、段、区间、块)——块 Oracle存储数据的最小单位是数据块。Oracle管理数据库数据文件的存储空间被称为数据块,一个数据块是数据库使用的最小数据单位。对应的操作原创 2009-10-22 11:04:00 · 3046 阅读 · 0 评论 -
Oracle的逻辑结构(表空间、段、区间、块)——区间
原创于2009年02月12日,2009年10月22日迁移至此。 Oracle的逻辑结构(表空间、段、区间、块)——区间 区间是数据库存储空间分配的逻辑单位,由一些连续数据块组成。一个或多个区间又构成了一个段。当现有的空间部分被完全使用的时候,Oracle就会为段分配一个新的区间。原创 2009-10-22 11:11:00 · 7750 阅读 · 0 评论 -
Oracle的逻辑结构(表空间、段、区间、块)——段
原创于2009年02月14日,2009年10月22日迁移至此。Oracle的逻辑结构(表空间、段、区间、块)——段 数据段是一系列区间,在这个特定逻辑存储结构存储的数据都在一个表空间内.例如对于每一种数据库对象(表、索引),数据库都会分配一个或一段区间构成其对象的数据段。原创 2009-10-22 11:13:00 · 3243 阅读 · 2 评论 -
Oracle的逻辑结构(表空间、段、区间、块)——表空间
原创于2009年02月22日,2009年10月22日迁移至此。Oracle的逻辑结构(表空间、段、区间、块)——表空间 关于数据库、表空间和数据文件的关系:l 一个Oracle数据库包含一个或多个逻辑存储单元—表空间,表空间用来存储数据的所有数据。l原创 2009-10-22 11:15:00 · 3108 阅读 · 0 评论 -
用oracle的java存储过程实现BLOB字段的字符串读取
原创于2009年07月24日,2009年10月22日迁移至此。阅读了一个帖子“有没有可能写出比Oracle函数更快的外部存储过程”(http://www.itpub.net/thread-1117461-1-1.html)突发灵感,加上原来有一个需求,需要从BLOB字段(本来就是字符型的内容)中直接读取成为字符串,需要java开发人员的支持,想了原创 2009-10-22 11:19:00 · 3222 阅读 · 0 评论 -
Oracle分析函数三——SUM,AVG,MIN,MAX,COUNT
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——SUM,AVG,MIN,MAX,COUNTSUM功能描述:该函数计算组中表达式的累积和。SAMPLE:下例计算同一经理下员工的薪水累积值 MIN功能描述:在一个组中的数据窗口中查找表达式的最小值。原创 2009-10-22 11:27:00 · 15276 阅读 · 0 评论 -
Oracle分析函数四——函数RANK,DENSE_RANK,FIRST,LAST…
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——函数RANK,DENSE_RANK,FIRST,LAST…RANK功能描述:根据ORDER BY子句中表达式的值,从查询返回的每一行,计算它们与其它行的相对位置。组内的数据按ORDER BY子句排序,然后给每一行赋一个号,从而形成一个序列,原创 2009-10-22 11:29:00 · 10297 阅读 · 1 评论 -
Oracle分析函数六——数据分布函数及报表函数
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——数据分布函数及报表函数CUME_DIST功能描述:计算一行在组中的相对位置,CUME_DIST总是返回大于0、小于或等于1的数,该数表示该行在N行中的位置。例如,在一个3行的组中,返回的累计分布值为1/3原创 2009-10-22 11:35:00 · 4831 阅读 · 0 评论 -
Oracle分析函数八——CUBE,ROLLUP
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——CUBE,ROLLUPCUBE功能描述:注意: ROLLUP功能描述:注意: 如果是ROLLUP(A, B, C)的话,GROUP BY顺序原创 2009-10-22 11:39:00 · 6907 阅读 · 1 评论 -
Oracle进行模拟测试数据的一个例子
原创于2009年08月02日,2009年10月22日迁移至此。-- u, U -返回全是大写的字符串-- l, L -返回全是小写的字符串-- a, A -返回大小写结合的字符串-- x, X -返回全是大写和数字的字符串-- p, P -返回键盘上出现字符的随机组合原创 2009-10-22 11:40:00 · 2657 阅读 · 0 评论 -
数据库审计方案(包括login,logout,DML,DDL等)
原创于2008年11月19日,2009年10月19日迁移至此。数据库审计方案(包括login,logout,DML,DDL等)/*=============================================================================== ||文件名:数据库审计事件记录脚本 ||说明:为了对数据库事件进行审计,而原创 2009-10-19 22:13:00 · 2560 阅读 · 0 评论 -
Oracle高级复制Step by Step
原创于2008年12月26日,2009年10月19日迁移至此。 Oracle高级复制Step by Step实施起因某项目中遇到内外网数据库同步的问题,假设电信机房和某机房网络物理隔绝,需要借助中间服务器进行数据库同步,这个中间服务器既可以是数据库服务器也可以是某种中间件或者某个程序。因为两头都是Oracle数据库,所以暂时先考虑使用原创 2009-10-19 22:19:00 · 1931 阅读 · 0 评论 -
关于Oracle Stream的安装、配置和使用
原创于2008年12月21日,2009年10月19日迁移至此。关于Oracle Stream的安装、配置和使用因项目预研需要,所以想找一个能够满足内外网数据库 同步方案,前面先是测试 了一下Oracle的高级复制功能,未果;才转而进行Oracle Stream的测试,大概是我水平太差了,前后测试了3.5遍总算把Oracle Stream运行正常起来了原创 2009-10-19 22:25:00 · 4436 阅读 · 0 评论 -
Oracle的逻辑结构(表空间、段、区间、块)——Oracle数据块(二)
原创于2009年02月10日,2009年10月22日迁移至此。 以下脚本来自于互联网,具体出处已经找不到了,如有知道还请告知!ITPUB个人空间 kHa/Q7K0r!F关于热点块的查询?4aO%C1c?Tp-k6C6517====查询当前数据库最繁忙的Buffer,TC原创 2009-10-22 11:09:00 · 1889 阅读 · 0 评论 -
Oracle的逻辑结构(表空间、段、区间、块)——总结
原创于2009年02月22日,2009年10月22日迁移至此。Oracle逻辑结构全景结构图 以下为个人整理的一些关于Oracle逻辑结构的相关数据字典:SELECT * FROMDBA_TABLESPACES --记录各个表空间的详细信息SELECT * FROM原创 2009-10-22 11:17:00 · 1742 阅读 · 0 评论 -
Oracle分析函数五——统计分析函数
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——统计分析函数方差和标准差:样本中各数据与样本平均数的差的平方和的平均数叫做样本方差;样本方差的算术平方根叫做样本标准差。样本方差和样本标准差都是衡量一个样本波动大小的量,样本方差或样本标准差越大,样本数据的波动就越大。数学上一般用原创 2009-10-22 11:31:00 · 3243 阅读 · 0 评论 -
Linux4.0平台下Oracle10g安装
原创于2008年12月25日,2009年10月19日迁移至此。 参考文档:《Oracle? Database Installation Guide 10g Release 2 (10.2) for Linux x86》小布老师视频讲座http://www.boobooke.com/v/bbk1041http://www.boobook原创 2009-10-19 22:21:00 · 1792 阅读 · 0 评论 -
Oracle分析函数一——函数列表
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数 Oracle分析函数——函数列表 SUM :该函数计算组中表达式的累积和MIN :在一个组中的数据窗口中查找表达式的最小值MAX :在一个组中的数据窗口中查找表达式原创 2009-10-22 11:24:00 · 6525 阅读 · 0 评论 -
Oracle分析函数二——函数用法
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——函数用法 Oracle分析函数实际上操作对象是查询出的数据集,也就是说不需二次查询数据库,实际上就是oracle实现了一些我们自身需要编码实现的统计功能,对于简化开发工作量有很大的帮助,特别在开发第三方报表软件原创 2009-10-22 11:26:00 · 3009 阅读 · 0 评论 -
Oracle分析函数七——分析函数案例
原创于2009年08月02日,2009年10月22日迁移至此。 Oracle分析函数——分析函数案例环比 环比就是现在的统计周期和上一个统计周期比较。例如2008年7月份与2008年6月份相比较称其为环比。 环比发展速度是报告期水平与前一时期水平之比,表明现象逐期的发展速度。如计算一年内原创 2009-10-22 11:38:00 · 2478 阅读 · 0 评论 -
主键和唯一索引的区别
<!-- /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-q原创 2009-11-19 09:20:00 · 103540 阅读 · 10 评论 -
关于SQLServer2005的学习笔记——分析函数
SQLServer2005提供了几个有用的分析函数如ROW_NUMBER,NTILE,RANK,DENSE_RANK,从而大大简化了编程方式,并提供了系统性能。此外根据测试MAX,MIN,AVG之类的统计函数还是可以在分析函数中应用的,不过和Oracle的处理有点不一样,好像无法应用OVER中的ORDER BY子句,大原创 2010-01-15 09:59:00 · 3915 阅读 · 8 评论 -
关于SQLServer2000中触发器的使用——多行数据提交
关于触发器的使用,有很多争议。触发器的好处不言而喻是增强了数据的校验能力,能够有效地实现复杂的业务逻辑。在一定程度上走的比约束和check走的更远。关于触发器的坏处,最典型的就是触发器的使用会导致系统性能下降,数据的不可控性,尤其是跨表检测,以及可能导致的触发器递归更加加深了数据的维护难度和不可控性。本文无意讨论触发器的原理和好坏,旨在描述一个关于批量数据提交时的触发器是如何设计的原创 2009-11-26 10:37:00 · 2780 阅读 · 0 评论