mysql的i o读取大_数据库I/O读写速度

工作中遇到的一个实际问题。

问题如下:

长时间,大量插入数据的速度慢的问题。

7*24小时的不间断想数据库中插入数据,单表的插入数据量平均目前平均35条/秒。有

40多个单表表都需要插入。插入数据的同时还要对40多个单表进行更新和查询操作。

如此频繁的对数据库进行操作的情况下,数据库的速度已经不能满足我们的需求了。

经过了一系列的SQL文,内存设置,缓存设置之后还是无法满足。

最后经过在linux下top进行分析,发现原来是orcale的I/O读写速度问题。并且硬盘处

理速度不及时还导致CPU %WA等待。

经过统计情况如下:

插入量:40*35=1400条/秒

查询量:40*100=4000条/秒

更新量:40*10=400条/秒

删除量:1400*66%=900条/秒

每秒处理共约:6700条数据。

这样一个int占4个字节,一个double占8个字节,一个varchar(200)占200个字节.....

一条数据有 800~1400个字节 按照平均一条数据1024个字节来算,就是1条数据占用

1Kb的空间。

那么硬盘最少要有6700*1Kb =6.7M 的读写速度。本来我们用的硬盘是7200的,极限的

读写速度是30M-40M/秒左右,为什么6.7M左右就承受不住了呢?

经过分析认为,硬盘的测试速度只是单一的读写。但是在频繁的读写删除面前远远达不到那个速度(磁头不停的切换,扇区不停的反转)

注意:这里请不要长生误区:6.7M是每秒的读写速度,由于我做了优化每秒还会删除插入数据的66%,这样最后保存到磁盘的每秒只有400K左右。

一天40G的数据 平均每秒400多K。

解决方案:表分区 + 磁盘阵列 + RAID0. 理论上能提高几十倍甚至几百倍的速度。

具体实现细节。。。略。。。。。。。

如果有人有兴趣知道可以留言探讨。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值