你的位置:
问答吧
-> MySQL
-> 问题详情
MySQL当表数据量极大时[单张表800万条记录],如何提高查询及更新速度?
我要处理一个有800万条记录的大表数据。
数据处理算法如下:
1.在内存中创建一个空的临时表: temp
2.将这有800万条记录的表(Recordset=SOURCE)按带索引的主键排序后,然后通过循环语句用游标从第一条记录访问到最后一条记录。
3.在对“SOURCE”遍历过程中,每读到一条记录,进行如下操作:
如果SOURCE记录中的“字段A”=1 则将其写入到临时表temp
否则“字段A”<>1 通过SQL语句在临时表temp中查询与此SOURCE记录相关的temp记录,如果在temp中找到了相关记录,则从temp中取出相关的字段值,更新SOURCE当前记录的相关字段.然后将temp中的这条记录删除。
( 注SOURCE中的每条记录“字段A”并不是全部等于1的,它是随机出现的。 )
我想问的问题是:针对当前的数据分析算法如何提高处理速度 (具体的要点如下)? 【目前的处理速度相当慢!】
一、数据库表“SOURCE ”的存储引擎是用MyISAM还是用InnoDB 好?
二、对于大表【例如:超过800万条记录的表】的查询、更新操作,是否可以从数据处理算法上提高数据处理速度?比如将大表人为分割成多个小表,然后对通程序的多线程技术来“并发”处理多个表?如果您有这方面的工程经验,能否给我一点思路?
三、大表的索引及主键创建原则及各类查询的SQL语句