弘易信泰，企业级SAAS数据存储技术分析

前言
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集，指那些在传统基础设施中长期保存的数据，大数据存储将这些数据集持久化到计算机中。行政易作为一款SaaS软件产品，应用大数据存储技术处理海量数据。
数据存储在OBS和HDFS有什么区别
MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务 Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。
数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。
数据存储在HDFS：数据存储和计算不分离，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。
Hbase概述

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表 。
特点：
（1）大：一个表可以有数十亿行，上百万列；
（2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
（3）面向列：面向列（族）的存储和权限控制，列（族）独立检索；？
（4）稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；
（5）数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；
（6）数据类型单一：Hbase中的数据都是字符串，没有类型。
局限：读写访问均是非常简单的操作。提供了get和scan两种方式，也不存在多表联合查询的问题。
逻辑视图

Mongodb
Mongodb是非关系型数据库(nosql ),属于文档型数据库。文档是mongoDB中数据的基本单元，类似关系数据库的行，多个键值对有序地放置在一起便是文档，语法有点类似javascript面向对象的查询语言，它是一个面向集合的，模式自由的文档型数据库。
存储方式：虚拟内存+持久化。
查询语句：是独特的Mongodb的查询方式。
适合场景：事件的记录，内容管理或者博客平台等等。
架构特点：可以通过副本集，以及分片来实现高可用。
数据处理：数据是存储在硬盘上的，只不过需要经常读取的数据会被加载到内存中，将数据存储在物理内存中，从而达到高速读写。
成熟度与广泛度：新兴数据库，成熟度较低，Nosql数据库中最为接近关系型数据库，比较完善的DB之一，适用人群不断在增长。
优点：
快速！在适量级的内存的Mongodb的性能是非常迅速的，它将热数据存储在物理内存中，使得热数据的读写变得十分快。高扩展性，存储的数据格式是json格式！
缺点：
不支持事务，而且开发文档不是很完全，完善。
Redis
Redis 中是把数据保存到内存中的，但是它也会定期的把数据写会到硬盘中。
Redis保存数据有两种方式
1.快照模式（Snapshot）
定时快照，即按一定时间将内存中的数据保存到磁盘上。
定量快照，即数据变化一定次数后将数据保存到磁盘上。
你也可以结合这两种方式，比如变化 1000 次，距离上次保存时间 60 秒以上才保存数据。
2.写模式（Append Only File）。这种模式下Redis会把所以修改数据的命令（如Update，Set）等保存到一个只能追加的ASAP文件中，当Redis重启时，它会把这个文件里的命令重新执行一遍。