需求是车辆网中GPS终端实时上传数据,数据级别每天百万级常规,每年大概就是千万级的数据。
有两种方式:一种Nosql,本身单表存储无上限,pb级的,完全够用;
一种就是分表,我们是根据月份进行分表,每年开始可以手动创建十二个数据表,也可以自动创建,创建的表要有一定的规律,可以进行方便的管理;当然也可以通过作业将当月的数据转移到新表中,这个新表我们可以按照一定的规则自动生成即可,这样当月的表一直正常存储就行;同时为了查询实时数据,我们可以使用缓存机制,redis是个不错的选择,我们将实时的数据拿上来以后全部存到缓存里面,查询速度会很快,同时也可以避免锁表;针对多个设备同时上线传数据,也就是并发数据的话,我们可以采用线程池,将所有的设备连接新建成线程即可。
当然分表只是针对我们能预见级别的数据量,如果是特别大的数据量,PB级,亿级数据,可以使用Nosql,非结构化存储,键值形式,查询读写性能好。
基于SQlServer大数据量存储的看法
最新推荐文章于 2023-11-07 22:23:55 发布