mysql表数据超过800万_MySQL当表数据量极大时[单张表800万条记录],如何提高查询及更新速度?...

你的位置:

问答吧

-> MySQL

-> 问题详情

MySQL当表数据量极大时[单张表800万条记录],如何提高查询及更新速度?

我要处理一个有800万条记录的大表数据。

数据处理算法如下:

1.在内存中创建一个空的临时表: temp

2.将这有800万条记录的表(Recordset=SOURCE)按带索引的主键排序后,然后通过循环语句用游标从第一条记录访问到最后一条记录。

3.在对“SOURCE”遍历过程中,每读到一条记录,进行如下操作:

如果SOURCE记录中的“字段A”=1 则将其写入到临时表temp

否则“字段A”<>1 通过SQL语句在临时表temp中查询与此SOURCE记录相关的temp记录,如果在temp中找到了相关记录,则从temp中取出相关的字段值,更新SOURCE当前记录的相关字段.然后将temp中的这条记录删除。

( 注SOURCE中的每条记录“字段A”并不是全部等于1的,它是随机出现的。 )

我想问的问题是:针对当前的数据分析算法如何提高处理速度 (具体的要点如下)? 【目前的处理速度相当慢!】

一、数据库表“SOURCE ”的存储引擎是用MyISAM还是用InnoDB 好?

二、对于大表【例如:超过800万条记录的表】的查询、更新操作,是否可以从数据处理算法上提高数据处理速度?比如将大表人为分割成多个小表,然后对通程序的多线程技术来“并发”处理多个表?如果您有这方面的工程经验,能否给我一点思路?

三、大表的索引及主键创建原则及各类查询的SQL语句

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值