海量离线数据存储

原创 2013年12月04日 10:04:53

工作经历:现在在做一个影像管理系统,随着时间的推移,影像数据会越来越多,就会导致系统的硬盘会装满,最后导致系统不能正常运行,解决办法就是系统只保留三个月的数据,三个月之后的数据全部存放到内容管理平台中,将来在“内容管理平台”中去查询和下载。

 

那么影像管理平台是怎么实现海量数据的管理的呢?

我们系统中会有很多的查询条件,来查询我们所需要的影像,甚至可以根据某一个SSID来确定唯一的影像数据。

因此,我们把系统中所有查询影像的数据的条件放在一张表中作为字段,然后在每个字段中添加索引(因为是海量的数据,每一种可能的字段都有可能是查询的条件,因此为了提高效率,就需要将),然后提供给客户一个查询条件界面(实际这些查询条件就是表的各个字段),然后根据客户输入的条件查询我们指定的那张表,就是需要的结果。

 

通过这些查询条件,应该能够准确的定位到某一张或者是一些文件,而查询出来的信息应该能够精确到系统的文件的具体存放位置。

 

名词解释:

非结构化数据:数据不能够存储在数据库中,或者是不便于数据库管理的文件数据,例如txt、pdf、word等文件数据。

离线数据存储和上传方案

  • 2017年06月03日 16:52
  • 2.21MB
  • 下载

2015年全国谷歌卫星地图离线数据存储方案

一、概述 随着地理信息数字化的发展,大数据时代的到来,海量数据的传输和安全性给我们带来巨大的困难。海量数据的传输受到互联网技术和硬件的限制,占用着较多的在线资源和线下存储空间,产生了能源、空间、...
  • mrib
  • mrib
  • 2015年07月21日 14:49
  • 1443

海量数据存储模式

  • 2012年11月26日 10:35
  • 356KB
  • 下载

离线数据存储和上传方案

在网络广泛普及的今天,各行各业的发展都对网络产生了很大的依赖性.瞬时的断网可能会对一些行业造成巨大的损失,如银行,金融等数据量较大的行业.断网或者网络传输失败都可能会使一些即时产生的关键数据丢失,导致...
  • itas109
  • itas109
  • 2017年06月03日 16:47
  • 676

Thinking in BigData(九)大数据hadoop集群下离线数据存储和挖掘架构

基于大数据hadoop集群下离线数据存储和挖掘分析架构: 可以分为五个层次:1、数据存储层;2、集群架构层;3、分布式计算引擎层;4、算法合成层;5、数据可视化层;五个层次,组成了,如何把基...
  • yczws1
  • yczws1
  • 2014年03月03日 16:37
  • 5154

SQL分页读取海量数据存储过程

  • 2008年02月28日 19:05
  • 946B
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:海量离线数据存储
举报原因:
原因补充:

(最多只允许输入30个字)