大数据系统由哪些核心组件构成

　　大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。今天我们就在来了解一下，数据系统的主要业务以及存储方法。

 

　　数据系统主要对业务数据及其他数据进行汇总和处理，对接BI、推荐或风控等系统。整个系统架构中，会包含以下比较常见的几大核心组件：

 

　　关系数据库：用于主业务数据存储，提供事务型数据处理，是应用系统的核心数据存储。

 

　　高速缓存：对复杂或操作代价昂贵的结果进行缓存，加速访问。

 

　　搜索引擎：提供复杂条件查询和全文检索。

 

　　队列：用于将数据处理流程异步化，衔接上下游对数据进行实时交换。异构数据存储之间进行上下游对接的核心组件，例如数据库系统与缓存系统或搜索系统间的数据对接。也用于数据的实时提取，在线存储到离线存储的实时归档。

 

　　非结构化大数据存储：用于海量图片或视频等非结构化数据的存储，同时支持在线查询或离线计算的数据访问需求。

 

　　结构化大数据存储：在线数据库也可作为结构化数据存储，但这里提到的结构化数据存储模块，更偏在线到离线的