一张表格,由于结构没有设计好,缺少索引字段,但是记录非常多,100万条。可惜中间缺少2万条记录,位置不详!于是使用perl脚本建立了一个信标,也是连续自增的100W条记录。由于只要知道id就可以了,所以写了下面的sql语句,刚开始是用的not in,结果可想而知,改为LEFT JOIN的时候,效果好一些:
可惜由于没有索引,所以等待了很久也没有反应。于是给ID字段建立索引,结果时间更长了,为什么呢?在大量数据建立索引的时候,需要在内存中生成很多的临时表,默认的/etc/mysql/my.cnf,是分配的内存很少的。添上下面的2句,立马见效!
tmp_table_size = 128M
key_buffer_size = 128M
很快就把索引建好了。10秒左右。太惊讶拉。
然后再执行上面的语句,30秒搞定!可见一个配置的重要性了,和在索引字段上进行JOIN查询,效率不一般的高!