大型web项目解决方案 之 大数据存储
mysql大数据存储
1、数据库主从配置,基本原理就是通过bin日志记录用户对主数据库的增、删、改操作,从数据库按顺序执行Bin日志,保持和主数据库的数据一致性。更可以读写分离,增删改操作代码链接主库。查询操作可以通过代码链接从库。这样大大减缓了数据库的压力。
原理图如下:
2、分表技术
a.垂直分表:意思就是说一个表字段不宜过多,过多的话应该适当拆分成几个表。这个在设计阶段应该考虑好
b.水平分表:把数据过多的表拆分成多个区存储。即Mysql的分区技术。逻辑上还是一个表,实际物理存储成多个数据文件!
c.集群:防止单点故障。
1、数据库主从配置,基本原理就是通过bin日志记录用户对主数据库的增、删、改操作,从数据库按顺序执行Bin日志,保持和主数据库的数据一致性。更可以读写分离,增删改操作代码链接主库。查询操作可以通过代码链接从库。这样大大减缓了数据库的压力。
原理图如下:
2、分表技术
a.垂直分表:意思就是说一个表字段不宜过多,过多的话应该适当拆分成几个表。这个在设计阶段应该考虑好
b.水平分表:把数据过多的表拆分成多个区存储。即Mysql的分区技术。逻辑上还是一个表,实际物理存储成多个数据文件!
c.集群:防止单点故障。