基于SQlServer大数据量存储的看法

需求是车辆网中GPS终端实时上传数据,数据级别每天百万级常规,每年大概就是千万级的数据。
有两种方式:一种Nosql,本身单表存储无上限,pb级的,完全够用;
一种就是分表,我们是根据月份进行分表,每年开始可以手动创建十二个数据表,也可以自动创建,创建的表要有一定的规律,可以进行方便的管理;当然也可以通过作业将当月的数据转移到新表中,这个新表我们可以按照一定的规则自动生成即可,这样当月的表一直正常存储就行;同时为了查询实时数据,我们可以使用缓存机制,redis是个不错的选择,我们将实时的数据拿上来以后全部存到缓存里面,查询速度会很快,同时也可以避免锁表;针对多个设备同时上线传数据,也就是并发数据的话,我们可以采用线程池,将所有的设备连接新建成线程即可。
当然分表只是针对我们能预见级别的数据量,如果是特别大的数据量,PB级,亿级数据,可以使用Nosql,非结构化存储,键值形式,查询读写性能好。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值