- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 存储系统的分类
存储系统的分类之前收集了一些存储产品，最近又重新整理了一下，对他们进行了简单的分类。每个对存储的分类可能不仅相同，我的分类完全按照自己的喜好来分，如和您的分类不同，仅供参考。只是做了搜集和分类，少量产品加了写介绍，希望以后有时间，加更多更详细的介绍。[TOC]1.存储引擎1.1 Hash Table1.1.1 dbm (database ma
2017-10-31 13:27:19
6399
转载 KV存储的对比
KV存储的对比转载于：https://yq.aliyun.com/articles/85634?spm=5176.8091938.0.0.Bck5cC最近对各种KV存储进行一个比较，从存储引擎到存储引擎的类型，到单机版的kvstore，再到分布式kvstore集群。存储引擎的类型类型全称btree
2017-10-31 13:24:03
17971
原创 高性能分布式存储系统的核心
高性能分布式存储系统的核心 针对超高性能分布式存储的系统，需要高性能的网络和存储，例如要求100us内完成从A机器写入B机器1K数据。需要做的是选用高性能的软硬件解决方案，包括高性能网络硬件，高性能网络软件，高性能存储硬件，高性能存储软件。 网络和存储硬件向着高吞吐低延迟的方向不断发展。网络环境上，从主流千兆网发展为双万兆，更高性能的RDMA很快将在
2017-10-24 10:06:03
3224
原创 纠删码(EC)的学习
纠删码(EC)的学习1. 简介 纠删码（erasure coding，EC）是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。 副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略，纠删码具有更高的磁盘利用率。 Reed-Solomon码是一种常见的纠删码。
2017-10-22 17:40:19
11304
1
原创 DPDK介绍
DPDK介绍 DPDK拦截中断，不触发后续中断流程，并绕过协议栈，通过UIO技术将网卡收到的报文拷贝到应用层处理，报文不再经过内核协议栈。减少了中断，DPDK的包全部在用户控件使用内存池管理，内核控件与用户空间的内存交互不用进行拷贝，只做控制权转移，减少报文拷贝过程，提高报文的转发效率。 DPDK核心技术如下： （1）通过UIO技术将报文拷贝到应用
2017-10-19 23:55:54
10380
原创 Amazon Aurora
Amazon Aurora 它基于存储计算分离的架构，并将回放日志部分下推到分布式存储层，存储节点与数据库实例(计算节点)松耦合，并包含部分计算功能。 Aurora体系下的数据库实例仍然包含了大部分核心功能，比如查询处理，事务，锁，缓存管理，访问接口和undo日志管理等；但redo日志相关的功能已经下推到存储层，包括日志处理，故障恢复，备份还原等。Aurora相对于传统
2017-10-15 19:13:46
740
原创 分布式系统的高效运维要点
分布式系统的高效运维要点 分布式系统需要部署在很多的机器上，需要很好的自动化与智能化运维才能解决工程师的痛点。 分布式系统高效运维的关键点： 1. 环境的标准化 分布式系统的部署需要一定的环境要求，环境运行标准包括操作系统，软件包，磁盘，网络，文件系统等多个方面。 为了解决这个问题，我们需要对系统的运行环境进行梳理
2017-10-15 09:00:07
3984
原创 分布式存储系统压力模拟测试器
分布式系统压力模拟测试器1. 设计目标 模拟线上压力，复现生产集群中的压力情况，作为测试场景中的背景压力。 1）测试压力（QPS）和执行(Execute)分离。 2）压力的可配置描述化（分布，Replay Log）。 3）Execute（一次Pangu File的读/写）的可以配置描述化。 4）每个Case需要做的事情足够简
2017-10-14 17:27:28
1648
原创 测试分布式系统的线性一致性
测试分布式系统的线性一致性参考资料： 1. 测试分布式系统的线性一致性：http://www.jianshu.com/p/bddfce1494d6 2. 使用 Porcupine 进行线性一致性测试：http://www.jianshu.com/p/9aedd234ef62 3. 使用 Chaos 测试分布式系统线性一致性：http
2017-10-14 17:17:03
915
转载 PBFT（拜占庭容错)
PBFT（拜占庭容错) 基于拜占庭将军问题，一致性的确保主要分为这三个阶段：预准备（pre-prepare）、准备(prepare)和确认(commit)。流程如下图所示：其中C为发送请求端，0123为服务端，3为宕机的服务端，具体步骤如下：1. Request：请求端C发送请求到任意一节点，这里是02. Pre-Prepa
2017-10-06 17:30:07
6882
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人