怎么查询数据库每天的数据增量和访问量?

今天有人问了这样一个问题:“怎么查询数据库每天的数据增量和访问量?”。

这个问题作为开发人员的我自然不会啦,不过对数据库方面的东西,我还是很感兴趣的,后面自己去网上查了下资料,也没有自己想要的,也去和公司的同事们讨论了一下,起初的时候,我们探讨了一下,得出如下方法:

1、是手工 统计。手工运行自己写好的语句去执行,然后人工做记录。
2、是写存储过程统计。写定时的存储过程,另外建一个日志表,定时运行存储过程把查询结果写进日志表里。
 
 
 
显然这两种方法都不太好,后来我去请教了一下做DBA的同学,他给了以下的答复:
 
怎么查询数据库每天的数据增量和访问量? 

1、增量,也就是要看整个库增加了多少条数据, 
(1)Oracle 查 dba_tables视图,里面有NUM_ROWS ,  SUM一下,早一次,晚一次,不过这个只是在大概的数据,不是100%准;
(2)SQL Server 查sys.partitions视图,里面有ROWS,比ORACLE准一点。

2、访问量,这个实现不了,访问量是没有数据的,现在都用的连接池,谁知道真正的访问量。 
 
 
以上是同学给的答复,他不玩DB2,所以只有oracle和sql server的,真的非常感谢,不知还有其他的方法不?记下这些先。
 

本文出自 “新博客-http://cfei.net” 博客,请务必保留此出处http://johnny84.blog.51cto.com/2855387/957698

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
复制,顾名思义就是将数据库中的数据拷贝到不同物理地点的数据库中。 在很多生产环境中,经常遇到一些大数据,这些数据只用作查询统计功能。例如:历史告警,历史性能指标,历史事件,等等。这种数据的特点是:只读不写,数据相当大,一旦查询大结果集的数据时,对数据库的IO,内存缓存占用相当大,会严重影响同一个数据库的其他会话的操作,表现为整个数据库反应迟缓,业务功能不可用。采用复制技术后,将这些大型数据复制到另外一个数据库中,对这些大数据查询统计操作放在另外的一台数据库服务器上进行,即使受影响,也只是影响局部的查询统计功能,其他正常的业务处理不受影响。 但是,使用复制技术的话,意味着一个系统中,至少存在两个数据库(集群的数据库也当成一个数据库),对应的应用程序也需要建立多个数据库连接,能够根据业务需要,访问不同的数据库。 ORACLE数据库自身提供有复制功能,只需要进行配置即可实现。 ORACLE提供有三种复制技术: 高级复制(Advanced Replication) 流复制(Streams Replication) 备库(Dataguard) 备库的方式,就是数据库数据库的备份方式,主要是解决容灾的,不讨论此话题。 流复制主要是利用ORACLE的归档日志,进行增量备份来实现的,不仅可以配置只复制某些表,还可以配置仅复制某些表上的ddl或dml。可以复制到表,用户,数据库级别。 高级复制主要是基于触发器的原理来触发数据同步的,因此,高级复制无法实现用户,数据库级别的对象复制,只能做些表、索引和存储过程的复制。 如果出于容灾整个数据库的考虑,高级复制相当复杂,而且并不一定能做好,流复制的配置相对简单。流复制是后来产生的复制技术,是基于日志挖掘技术实现的,对数据库的影响较低。但在稳定性方面较差,实时性没有高级复制强(因为高级复制是基于触发器的)。如果系统意外的话,流复制的恢复将会需要较长时间,特别是意外时间越长,恢复时间成倍增长。 下面使用相同的环境,分别对两种复制功能进行配置介绍,并进行性能压力测试比较。
数据库系统资源数据库建设总体设计全文共16页,当前为第1页。大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。大数据库系统 大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。 资源数据库建设 总体设计 总体架构 图 1总体架构 本资源数据库主要是汇聚各种来源的数据形成历史库、业务库、基础库、主题库来支撑前端GIS、关系图等服务,以方便各委办局、街道、社区对大数据中心数据的使用。 大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。数据架构 大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。 图 2 数据架构 资源数据库将分为缓冲层、贴源层,原子层,模型层、应用集市层五层,缓冲层主要用来存储从大数据交换平台过来的数据,其数据结构和交换平台交换过来的结构基本一致,只保留一年的增量信息,目的是当数据抽取出现错误时,能快速定位出问题,快速重抽数据,保证数据处理的时效性。贴源层共分为两层贴源历史层与贴源标准层,贴源历史层将保留历史变迁数据,方便数据溯源及历史数据分析。贴源标准层只保留当前版本有效的数据,方便业务系统对原始业务数据的使用,该层会对数据做一定程度的标准化。原子层存储的是数据的原子信息,属于数据最小颗粒度的信息。模型层存储的由原子层整合而来的按人口、法人、空间等维度组合的数据,本次项目中主要有人口域、法人域、空间域、事件域。集市层存储的是主题分析需要用到的主题分析数据。如人口主题分析数据等。 大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。技术架构 大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。 图 3 技术架构 结构化数据存放在Oracle中,目前采用的是Oracle 11gR2;大数据平台使用的是大数据TDH(Transwrap Data Hub);工作流设计调度监控采用中兴的iETL;数据稽查采用华傲数据数据DS;质工单采用华傲数据工单系统。源数据到缓冲层如果是Oracle的采用DBLink连接源数据,如果是非Oracle的采用iETL的工作流进行数据抽取。关系数据存储到大数据平台采用Apache Sqoop进行导入;非结构化数据使用FTP的方式存储到大数据平台。 数据应用以JDBC的方式访问结构化数据数据服务以API的方式访问数据平台的数据数据来源 目前数据库中的数据主要来源有三部分,第一部分是市交换平台订阅数据,第二部分是中兴的存数据,第三部分是区各个业务系统的数据。 表格 1 数据来源描述 数据来源描述 业务单位 数据数据 采集方式 采集频率 市交换平台数据 市流动人口和出租屋综管办 20 2691485 增量 每天 市交换平台数据 市规划国土委 3 76216 增量 每天 市交换平台数据 市监察局 2 2195256 增量 每天 市交换平台数据 市民政局 63 453722 增量 每天 市交换平台数据 市住房和建设局 60 30744916 增量 每天 大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。市交换平台数据数据库系统资源数据库建设总体设计全文共16页,当前为第4页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。 市市场监管局 8 23120820 增量 每天 市交换平台数据 市发改委 16 15749 增量 每天 市交换平台数据 市文体旅游局 54 109242 增量 每天 市交换平台数据 市地税局 15 16715981 增量 每天 市交换平台数据 市城管局 21 2394555 增量 每天 市交换平台数据 市交通运输委员会 6 180703 增量 每天 市交换平台数据 市科技创新委员会 34 59843 增量 每天 市交换平台数据 市国税局 1 414956 增量 每天 市交换平台数据 市人居环境委 22 478859 增量 每天 市交换平台数据 市电子政务资源中心 9 13036565 增量 每天 市交换平台数据 市气象局 9 846356 增量 每天 市交换平台数据 市司法局 5 11439 增量 每天 市交换平台数据 市公安局 1 4188198 增量 每天 市交换平台数据 市水务局 20 526728 增量 每天 中兴存数据 社会建设局 20 7200 全 一次 中兴存数据 城市

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值