mysql表数据超过800万_MySQL当表数据量极大时[单张表800万条记录],如何提高查询及更新速度？...

你的位置:

问答吧

-> MySQL

-> 问题详情

MySQL当表数据量极大时[单张表800万条记录],如何提高查询及更新速度？

我要处理一个有800万条记录的大表数据。

数据处理算法如下：

1.在内存中创建一个空的临时表： temp

2.将这有800万条记录的表(Recordset=SOURCE)按带索引的主键排序后，然后通过循环语句用游标从第一条记录访问到最后一条记录。

3.在对“SOURCE”遍历过程中，每读到一条记录，进行如下操作：

如果SOURCE记录中的“字段A”=1 则将其写入到临时表temp

否则“字段A”<>1 通过SQL语句在临时表temp中查询与此SOURCE记录相关的temp记录，如果在temp中找到了相关记录，则从temp中取出相关的字段值，更新SOURCE当前记录的相关字段.然后将temp中的这条记录删除。

( 注SOURCE中的每条记录“字段A”并不是全部等于1的，它是随机出现的。 )

我想问的问题是：针对当前的数据分析算法如何提高处理速度 (具体的要点如下)？ 【目前的处理速度相当慢！】

一、数据库表“SOURCE ”的存储引擎是用MyISAM还是用InnoDB 好？

二、对于大表【例如：超过800万条记录的表】的查询、更新操作，是否可以从数据处理算法上提高数据处理速度？比如将大表人为分割成多个小表，然后对通程序的多线程技术来“并发”处理多个表？如果您有这方面的工程经验，能否给我一点思路？

三、大表的索引及主键创建原则及各类查询的SQL语句