- 博客(7)
- 收藏
- 关注
RSS订阅原创 一个简单Table Cache的实现
文章目录前言Table Cache的作用Table Cache的核心要点：数据访问的一致性Table Cache的样例实现Full Table Cache的实现Partial Table Cache的实现引用前言在数据存储中，比较常见的一种存储形式是以表的形式进行数据的存储。表由一条条的数据记录所构成。当然，我们也会对表内的数据做各种维度的分析或者更新处理等等。而在这些过程中，我们免不了会对...
2019-07-27 22:43:09
1813
原创 HDFS Segment Block Report方案设计
文章目录前言Block的Segment划分前言在上文中，笔者提到了对于目前HDFS FBR处理新的一个思路方向。大意是指将DataNode的块汇报粒度控制在NameNode这边来决定，而不是在DataNode这边。毕竟block report才是真正负责处理的角色。另一方面，单纯在DataNode端以per storage的方式进行block report拆分还不够灵活，随着实际存储密度性能...
2019-07-23 22:54:24
760
原创 HDFS全量块汇报(FBR)的限流机制
文章目录前言前言众所周知在HDFS中，DataNode会进行定期的全量块汇报操作到NameNode中，来向NameNode表明其上所存储的所有块数据。这个动作在HDFS中称之为Full Block Report，简称FBR。FBR其实是一个十分expensive的操作，尤其当DataNode存储有大量block块的时候。又因为HDFS FSN全局单一锁的设计，当NameNode同时需要处理来...
2019-07-20 22:55:12
1980
原创 Ozone Data Scrubbing机制
文章目录前言数据的损坏Ozone的Data Scrubbing机制引用前言在大规模的分布式存储系统中，数据是分布式地存储在不同的存储节点中。在节点数量达到比较大规模的时候，出现数据损坏的情况就会变得十分的常见了。数据节点出现数据损坏是很常见的现象，我们不能保证它是绝对完美的，因此我们的一个目标是使数据损坏对系统的影响降到最低甚至没有影响。这里其实就谈到了系统对于异常数据的处理机制了，相对于系...
2019-07-18 00:06:03
647
原创 Ozone的配置管理化方案设计
文章目录前言复杂配置带来的一系列问题Ozone的中心配置管理化设计前言在当前设计日益复杂的分布式系统中，对于如何更加完善地去做好服务的配置管理，并不是一件简单的事情。配置的管理里面包含的细节内容其实不少，诸如配置的历史变更记录（就是我们常说的配置版本管理），还有配置的统一、一致性管理。我们经常会看到系统服务的配置在没有规范统一的情况下最后被改成各种差异化的配置值。这其中差异的配置在日后将会给...
2019-07-10 23:49:50
988
2
原创 Ozone的数据延迟处理机制
文章目录前言传统同步模式的数据处理过程前言在典型的基于DBMS的管理系统中，业务上的请求操作最终会转化为CRUD操作被apply到后台的数据库里。从客户端数据请求的发起再到最终结果的apply，在设计上整个过程往往是同步的方式，因为客户端要知道最终结果是否已经成功更新到数据库里了。类似在其它不是基于DMBS的存储系统中，这种同步处理的方式也是非常常见的。不过，笔者今天要探讨一种对此更为高效的...
2019-07-06 17:29:11
970
原创 Ozone数据探查服务的增量数据更新机制
文章目录前言Ozone数据探查服务：Recon ServerRecon Server基于Checkpoint获取定期DB Snapshot的弊端RocksDB基于Update WAL的Delta更新前言笔者之前写过一篇关于存储系统数据探查分析的文章：存储系统“数据之眼”的设计–数据探查服务。文章主要阐述了关于对存储系统，我们如何对其上存储的海量数据做一个常规分析同时不能影响系统提供正常的数据...
2019-07-02 23:24:43
961
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人