一次oracle优化经历

项目背景:一个用户行为分析系统,使用oracle数据库来记录用户每天对网站的访问情况,用户每一次点击都会产生一条记录,一天下来整个网站大概会产生1千万条点击记录。
系统架构:前端使用三台服务器负责采集用户浏览行为数据,web应用服务器使用resin,后台用一台服务器作为数据库服务器以及分析结果查询服务器,两台服务器分别用作分析用户浏览行为数据。
需求:每天每小时定时分析前一个小时用户点击产生的数据以及每一天需要分析前一天的用户点击产生的全部数据进行汇总,进一步还会按月按年分析这些数据。
由于数据增长速度异常之快,数据库很快就出现了瓶颈。痛苦而漫长的优化之旅便开始了。
一、首先很快想到了oracle分区,oracle分区的优点在这不再啰嗦,我们这次是按一天分一个逻辑分区,一个月进行一次物理分区;
二、对于用户的点击产生的数据采用oracle的批处理命令,定时导入到数据库;
三、根据查询分析的处理要求,建立了适当的索引(注意并不是建立了索引数据库的查询性能就会得到提升,弄不好反而会加重了数据库的负担);
四、把部分在程序中处理的逻辑移到数据库层面进行处理。由于一开始时是先一部分逻辑在数据库处理后再把结果返回应用程序在进行处理,然后再返回数据库中;由于要处理的数据量太大(在监控中发现结果集常常有返回上百万条记录,一条记录有3k,就有一两个G数据了),一方面导致内存溢出,另一方面数据在应用程序与数据库之间的传输需要花费大量的时间(包括应用程序与数据库之间建立连接也需要时间),把这部分的逻辑放在数据库中处理就减少了这些麻烦;
五、优化数据库表的结构,特别是一些字段的数据类型,比如时间类型,字数类型等必须严格按照实际进行设计;在涉及查询或者统计时,如果不是按照实际进行设计的话,oracle就会自动进行类型转换,这时很耗性能的,比如字符串转数字;
六、适当的时候使用oracle的并行查询,比如按月按年分析数据可考虑使用;
七、按照业务进行必要的表拆分,把所有业务都揉在一个表中对于海量数据处理来说并不是好事;
八、对表进行压缩。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
城市应急指挥系统是智慧城市建设的重要组成部分,旨在提高城市对突发事件的预防和处置能力。系统背景源于自然灾害和事故灾难频发,如汶川地震和日本大地震等,这些事件造成了巨大的人员伤亡和财产损失。随着城市化进程的加快,应急信息化建设面临信息资源分散、管理标准不统一等问题,需要通过统筹管理和技术创新来解决。 系统的设计思路是通过先进的技术手段,如物联网、射频识别、卫星定位等,构建一个具有强大信息感知和通信能力的网络和平台。这将促进不同部门和层次之间的信息共享、交流和整合,提高城市资源的利用效率,满足城市对各种信息的获取和使用需求。在“十二五”期间,应急信息化工作将依托这些技术,实现动态监控、风险管理、预警以及统一指挥调度。 应急指挥系统的建设目标是实现快速有效的应对各种突发事件,保障人民生命财产安全,减少社会危害和经济损失。系统将包括预测预警、模拟演练、辅助决策、态势分析等功能,以及应急值守、预案管理、GIS应用等基本应用。此外,还包括支撑平台的建设,如接警中心、视频会议、统一通信等基础设施。 系统的实施将涉及到应急网络建设、应急指挥、视频监控、卫星通信等多个方面。通过高度集成的系统,建立统一的信息接收和处理平台,实现多渠道接入和融合指挥调度。此外,还包括应急指挥中心基础平台建设、固定和移动应急指挥通信系统建设,以及应急队伍建设,确保能够迅速响应并有效处置各类突发事件。 项目的意义在于,它不仅是提升灾害监测预报水平和预警能力的重要科技支撑,也是实现预防和减轻重大灾害和事故损失的关键。通过实施城市应急指挥系统,可以加强社会管理和公共服务,构建和谐社会,为打造平安城市提供坚实的基础。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值