自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

chenglinhust的专栏

分布式系统 基础架构 中间件系统 安全领域 容器技术 人工智能

  • 博客(11)
  • 资源 (1)
  • 收藏
  • 关注

转载 存储系统的分类

存储系统的分类之前收集了一些存储产品,最近又重新整理了一下,对他们进行了简单的分类。每个对存储的分类可能不仅相同,我的分类完全按照自己的喜好来分,如和您的分类不同,仅供参考。只是做了搜集和分类,少量产品加了写介绍,希望以后有时间,加更多更详细的介绍。[TOC]1.存储引擎1.1 Hash Table1.1.1 dbm (database ma

2017-10-31 13:27:19 6399

转载 KV存储的对比

KV存储的对比转载于:https://yq.aliyun.com/articles/85634?spm=5176.8091938.0.0.Bck5cC最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。存储引擎的类型类型全称btree

2017-10-31 13:24:03 17971

原创 高性能分布式存储系统的核心

高性能分布式存储系统的核心      针对超高性能分布式存储的系统,需要高性能的网络和存储,例如要求100us内完成从A机器写入B机器1K数据。需要做的是选用高性能的软硬件解决方案,包括高性能网络硬件,高性能网络软件,高性能存储硬件,高性能存储软件。      网络和存储硬件向着高吞吐低延迟的方向不断发展。网络环境上,从主流千兆网发展为双万兆,更高性能的RDMA很快将在

2017-10-24 10:06:03 3224

原创 阿里云飞天系统

阿里云飞天系统   有幸在阿里云飞天部门工作几年,下面给出基础架构一览:

2017-10-24 09:38:47 8068

原创 纠删码(EC)的学习

纠删码(EC)的学习1.  简介      纠删码(erasure coding,EC)是一种数据保护方法,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。      副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率。 Reed-Solomon码是一种常见的纠删码。     

2017-10-22 17:40:19 11304 1

原创 DPDK介绍

DPDK介绍  DPDK拦截中断,不触发后续中断流程,并绕过协议栈,通过UIO技术将网卡收到的报文拷贝到应用层处理,报文不再经过内核协议栈。减少了中断,DPDK的包全部在用户控件使用内存池管理,内核控件与用户空间的内存交互不用进行拷贝,只做控制权转移,减少报文拷贝过程,提高报文的转发效率。  DPDK核心技术如下:  (1)通过UIO技术将报文拷贝到应用

2017-10-19 23:55:54 10380

原创 Amazon Aurora

Amazon Aurora     它基于存储计算分离的架构,并将回放日志部分下推到分布式存储层,存储节点与数据库实例(计算节点)松耦合,并包含部分计算功能。 Aurora体系下的数据库实例仍然包含了大部分核心功能,比如查询处理,事务,锁,缓存管理,访问接口和undo日志管理等;但redo日志相关的功能已经下推到存储层,包括日志处理,故障恢复,备份还原等。Aurora相对于传统

2017-10-15 19:13:46 740

原创 分布式系统的高效运维要点

分布式系统的高效运维要点     分布式系统需要部署在很多的机器上,需要很好的自动化与智能化运维才能解决工程师的痛点。     分布式系统高效运维的关键点:     1. 环境的标准化         分布式系统的部署需要一定的环境要求,环境运行标准包括操作系统,软件包,磁盘,网络,文件系统等多个方面。         为了解决这个问题,我们需要对系统的运行环境进行梳理

2017-10-15 09:00:07 3984

原创 分布式存储系统压力模拟测试器

分布式系统压力模拟测试器1.  设计目标     模拟线上压力,复现生产集群中的压力情况,作为测试场景中的背景压力。     1)测试压力(QPS)和执行(Execute)分离。     2)压力的可配置描述化(分布,Replay Log)。     3)Execute(一次Pangu File的读/写)的可以配置描述化。     4)每个Case需要做的事情足够简

2017-10-14 17:27:28 1648

原创 测试分布式系统的线性一致性

测试分布式系统的线性一致性参考资料:   1.  测试分布式系统的线性一致性:http://www.jianshu.com/p/bddfce1494d6   2.  使用 Porcupine 进行线性一致性测试:http://www.jianshu.com/p/9aedd234ef62   3.  使用 Chaos 测试分布式系统线性一致性:http

2017-10-14 17:17:03 915

转载 PBFT(拜占庭容错)

PBFT(拜占庭容错)    基于拜占庭将军问题,一致性的确保主要分为这三个阶段:预准备(pre-prepare)、准备(prepare)和确认(commit)。流程如下图所示:其中C为发送请求端,0123为服务端,3为宕机的服务端,具体步骤如下:1. Request:请求端C发送请求到任意一节点,这里是02. Pre-Prepa

2017-10-06 17:30:07 6882

走向分布式基础学习

是学习分布式的好资料,里面的内容讲解的非常详细,是一个台湾人下载的

2015-03-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除