大数据存储演变

我的小博客-》：欢迎来到我的领域

随着计算机发展，数据越来越多，数据的存储与分析成了大问题。为了解决这问题，基本思路就是利用纵横思想，数据切片化，利用计算机多线程计算之后汇总。

快速方便地构建基于主题的统计数据，一直是大数据行业的痛点，最初解决该问题的方案是Hadoop和Spark的离线计算，但随着业务的发展，这两种方案在数据实时性上的短板越来越明显。行业急需一个实时数仓方案，但是在实时数仓中如果基于Flink进行实时计算的话，对于业务的频繁变更带来的开发成本又变得不可控。因此大家又把目光投向了MPP架构，这种架构基本上达到了1个SQL就能满足一个业务报表的需求，方便快速，数据又是实时计算的，基本满足了我们的要求。但是其在分布式事务和元数据的自动感知上，还有待完善。

从上面的趋势中也可以看到大数据发展的阶段，第一阶段大家基于大型MySQL的分库分表实现大规模数据的存储和分析，但是随着数据量的增大，这个方案玩不转了。于是出现了Hadoop和Spark来解决海量数据计算问题。等海量数据计算的需求满足后大家又对数据的实时性要求更高了，业务总想看着最新的数据，于是出现了实时数仓。

其实大家最终目标是既能像关系数据库那样满足ACID的需求，又具有大规模数据实时计算的能力和灵活的数据分析能力。tiDB 正在向这方面实现，但是还存在很多问题。之后的数据库基本都是分布式的，到时候就不会因为数据库的瓶颈限制应用的性能了，现阶段大多数应用的性能瓶颈都是再数据库这端，所有的架构设计也都是为了”迁就“数据库去设计的。希望之后数据库能高并发、大存储、并且高性能。那之后基本架构师会更专注业务架构，而非技术架构。