用JAVA如何实现每天1亿条记录的数据存储

转自:https://blog.csdn.net/qq_40317404/article/details/79646868

一天秒数:60*60*24=86,400秒

每天写入数据量:100,000,000条

平均每秒写入数据量:100,000,000/86,400=1157.5条

峰值每秒估算写入数:1157.5*10=11575条

因此建议从以下几个层面处理

1、数据库服务器磁盘采用高速SSD磁盘

2、数据库采用2个节点的集群方式部署,每个集群节点3台服务器,1主2备,主数据库为写数据库,备数据库为读数据,采用读写分离,单集群节点内主备库数据实时同步,集群节点主库数据实时同步

3、数据表设计采用分区、分表方式设计表结构

4、数据写入采用单事务批量写入的方法新增数据

5、在关键字段建立索引,提高查询效率

6、第一次查询后将数据缓存到redis中,方便下次查询

阅读更多 登录后自动展开
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页