数据持久化概述

功能发展

1. 数据服务一般分为数据处理和数据存储两部分。
2. 数据处理负责满足请求要求，会访问数据存储服务获取符合条件的数据，然后对数据进行处理计算出预期的结果。这里数据处理中包含元数据的储存，核心就是数据对应的存储位置。
3. 数据存储负责完成数据持久化，简单说就是将数据存到硬盘以及从硬盘中读取数据。
4. 随着访问量的增长，数据处理的瓶颈是计算模块，数据存储的瓶颈是硬盘容量。
5. 所以除了数据元数据，数据处理是无状态服务，可以简单做水平扩展。
6. 但数据存储是有状态服务，所以需要处理物理设备风险。包含两方面，其一是服务高可用问题，其二是物理设备容量问题。
7. 服务高可用问题其中主要是数据安全问题，其次是服务安全问题。
8. 首先是数据安全问题，这里一般是使用主从架构构建数据冗余来保证。同时可以部分满足高可用。但没有解决物理设备容量的问题。
9. 接下来发展出的解决方案就是数据分片，出现数据分片的时候同时出现就是在数据处理和数据存储角色的明显区分。因为需要数据处理角色需要依据元数据从不同的物理节点中的分片中收集数据然后进行计算提供服务。同时通过增加从分片保证数据安全。
10. 最后的就是当单节点满足不了数据处理的要求的时候，需要多数据节点完成计算的。及时响应就成了最大的问题，因为原先需要一级数据处理的时候变成了多级数据处理。这样就成了大数据问题。

典型应用说明

1. 最开始的是mysql为代表的关系型数据库，就是将数据处理和数据存储放置在一起。
2. 接下来是redis为代表的非关系型数据库，首要目的是解决热点数据的快速查询，基本上没有数据处理功能，同时数据存储核心任务也不是数据初始化，所以是基于内存和CPU的。但之后同样出现了持久化要求，进而开发出一堆特殊的应用。
3. 接下来是mongeDB，mongeDB相对于redis更像是数据服务，因为包含数据处理和数据存储两种功能。相对于mysql来说，mysql本身并不支持数据分片，而mongDB天生支持数据分片。由于mysql并不需要考虑不同物理节点，所以可以方便的完成事务处理，而mongeDB支持数据分片所以完成事务就是分布式事务天生对事务支持能力不足。同样mongeDB天生支持动态扩容，mysql天生不支持。
4. 之后是TiDB，TiDB将数据处理中的元数据管理也单独出来了，所以架构相当庞大。同时针对不同的数据处理要求，开发了不同的数据处理单元，所以可以满足多种数据处理要求。
5. 最后是ES，ES具体化了更多的角色，同时提供了相对于mongeDB更复杂的数据处理功能。
6. 总之mongeDB、ES这种分片的有几种麻烦就是天生不容易保证事务以及多表联合查询。TiDB特殊是因为他自身实现了分布式事务，相对应的是庞大的初始服务集群。
7. 最后就是hadoop的大数据服务，这个现在尚不清楚。