对于大数据量的处理,始终也是没接触过,这几天数据库接近2000万,有要蹦的危险,在网上找了几种方法,但是感觉最实质性的问题是用分表的方法解决数据库瓶颈问题,
网上有为网友说他6G的数据单靠所以就能解决, 我想他的这种方法只对单个ID 进行查询也许可以,对多条件查询也是容易卡死,
一共进行3种测试
1, 索引,数据库引擎,编码,各种优化,基本上也没什么优化的了,
现在创建3种表进行测试
test1 表为 分区表结构
test2 表为 普通索引表结构
test3 表为 merge分表结构
2,通过建立表分区进行优化
表分区是Mysql提出的一种概念,意图解决Mysql大数据量存储瓶颈问题,这种方法试了下,
我的方法是建一张表,然后按月分成12个分区
,
注意: Mysql的表分区字段必须放在主键里,要不会报错
表示用存储过程insert test表很蛋疼,每秒种只有20多条,不知道为什么这么慢,所以还没具体测试,不过我用php脚本 写入 每秒几千条没问题
(ps:刚刚用php写入,发现不是存储过程慢,是表分区这种