NoSQL+集群流批+PG集群+内存缓存：某单位海量数据存储实践

【导读】某机构原采用的Oracle的RAC作为数据存储，随着业务量和数据量的增大，对于系统的稳定性和扩展性造成了极大的问题。现在采用Postgres集群+Redis内存数据库+Druid 实时分析数据库+Hbase列式数据库+HDFS+Kafka消息队列；辅以Minio分布式文件存储实现的，目前使用效果良好。本文介绍了整合建设的初期存在的技术痛点和建设实践经验，希望可以为大家提供参考借鉴。

一、项目建设背景

随着大数据、云计算、移动互联迅速发展，快速交付与灵活扩展的强烈需求增长，传统竖井式的IT基础架构设施面临着新的挑战。一方面快速增长的互联网业务需要灵活的、可自由伸缩、不限于规格容量的存储的IT软硬件资源提供坚实基础保障，另一方面高效的业务响应同传统的IT基础设施发展矛盾也日益突出。例不可预估的互联网业务客户量、持续增长的日交易量、重要时期的高峰的运行压力、大量并发IO读写，系统响应缓慢，关键指标时效性不足，而这些性能痛点最先反映在数据存储IO上。

因此如何全面规划和整合当前IT基础架构中的数据存储体系，构建灵活、高效、先进的高可用存储架构，实现可满足生产系统的高并发、低延时的性能需求，是金融机构IDCIT信息化建设的迫切要求。

二、高性能高并发的数据存储建设痛点

随着信息大数据时代的来临，对信息收集的需求越来越高&