![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
分布式知识
文章平均质量分 92
介绍和整理分布式知识
Tyler_Zx
只有足够的努力,才能让一切看起来都毫不费力!
展开
-
列式存储综述
列式存储的优势一方面体现在存储上能节约空间、减少 IO,另一方面依靠列式数据结构做了计算上的优化。本文中着重介绍列式存储的数据组织方式,包括数据的布局、编码、压缩等。转载 2022-10-30 22:41:11 · 3141 阅读 · 0 评论 -
Fasterkv Epoch 保护框架
在Faster 中使用 epoch 框架来协调系统操作,主要使用到该保护框架的地方有:内存安全的垃圾回收、循环缓冲区维护和页面刷新、共享日志页面边界维护和检查点。原创 2022-08-21 20:50:46 · 1015 阅读 · 0 评论 -
RDMA 知识概述
RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中客户端与服务器端数据处理延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机,无需操作系统的介入。这允许高吞吐、低延迟的网络通信,尤其适合应用在大规模并行计算机集群中。原创 2020-10-20 17:21:07 · 2658 阅读 · 0 评论 -
在知乎引发众多分布式数据库大佬争相回答的问题
原问题:如何理解数据库的内部一致性和外部一致性?原创 2020-10-04 00:29:08 · 1067 阅读 · 0 评论 -
阿里云原生数据库:POLARDB
POLARDB是阿里云数据库团队研发的基于第三代云计算架构下的商用关系型云数据库产品,实现100%向下兼容MySQL 5.6的同时,支持单库容量扩展至上百TB以及计算引擎能力及存储能力的秒级扩展能力,对比MySQL有6倍性能提升及相对于商业数据库实现大幅度降低成本。翻译 2020-10-02 22:16:36 · 2687 阅读 · 1 评论 -
分布式事务——TCC 原理
概念TCC 又称补偿事务。其核心思想是:" 针对每个操作都要注册一个与其对应的确认和补偿(撤销)操作 "。它分为三个操作:Try 阶段:主要是对业务系统做检测及资源预留。Confirm 阶段:确认执行业务操作。Cancel 阶段:取消执行业务操作。TCC 对应Try、Confirm、Cancel三种操作可以理解成关系型数据库事务的三种操作:DML、Commit、Rollback。在一个跨应用的业务操作中Try:Try 操作是先把多个应用中的 业务资源预留和锁定,为...转载 2020-09-21 22:36:25 · 1338 阅读 · 1 评论 -
分布式协议:2PC、3PC 与 Paxos 协议
目录两阶段提交协议Paxos 协议简介分布式系统涉及的协议很多,例如租约,复制协议,一致性协议,其中以两阶段提交协议(2PC)和Paxos协议最具有代表性。两阶段提交协议用于保证跨多个节点操作的原子性,也就是说,跨多个节点的操作要么在所有节点上全部执行成功,要么全部失败。Paxos协议用于确保多个节点对某个投票(例如哪个节点为主节点)达成一致。两阶段提交协议两阶段提交又称 2PC,是一个非常经典的强一致、中心化的原子提交协议。两阶段提交协议经常用来实现分布式事务,在两阶段协...原创 2020-09-21 17:58:19 · 3717 阅读 · 1 评论 -
BlueStore——先进的用户态文件系统《一》
目录为什么需要 BlueStoreIO 放大对象遍历其他BlueStore 介绍逻辑架构设计思想总结引言分布式存储系统通过将数据分散到多台机器上来充分利用多台机器的资源提高系统的存储能力,每台机器上的数据存放都需要本地的单机存储系统,它是整个分布式存储系统的基础,为其提供保障。设计高性能、高可靠的分布式存储系统离不开高效、一致、稳定、可靠的本地存储系统。Ceph 是目前业内比较普遍使用的开源分布式存储系统,实现有多种类型的本地存储系统;在较早的版本当中,Ceph.转载 2020-08-11 22:05:51 · 525 阅读 · 1 评论 -
对象存储概述
前言今天碰巧看到一篇介绍对象存储概念的博客,感觉整体写的还行。现在做个简单的笔记,其中修改了原文的部分内容和结构。对象存储概述什么是对象存储?相对于存储局域网(SAN)和网络附加存储(NAS)网络存储架构,对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称 OSD。总体上来讲,对象存储综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NA...转载 2020-07-30 20:55:59 · 3118 阅读 · 1 评论 -
什么是 MultiRaft ?
什么是 Multi-Raft这里引用 Cockroach ( Multi-Raft 的先驱,出来的比 TiDB 早 )对 Multi-Raft 的定义:InCockroachDB, we use theRaft consensus algorithmto ensure that your data remains consistent even when machines fail. In most systems that use Raft, such asetcdandConsul...转载 2020-07-30 09:38:04 · 5848 阅读 · 0 评论 -
浅谈分布式存储系统数据分布算法
分布式存储系统面临着的首要问题,就是如何将大量的数据分布在不同的存储节点上。无论上层接口是 KV存储、对象存储、块存储、亦或是列存储,在这个问题上大体是一致的。本文将介绍如何分布式存储系统中做数据分布目标及可选的方案,并试着总结和权衡他们之间的关系及优缺点。转载 2020-07-22 15:45:37 · 1233 阅读 · 0 评论 -
Raft算法的Leader选举和日志复制过程
Raft概念Raft是一种为了管理复制日志的一致性算法。它提供了和Paxos算法相同的功能和性能,但是它的算法结构和Paxos不同,使得Raft算法更加容易理解并且更容易构建实际的系统。为了提升可理解性,Raft将一致性算法分解成了几个关键模块,例如Leader选举、日志复制和安全性。同时它通过实施一个更强的一致性来减少需要考虑的状态的数量。从一个用户研究的结果可以证明,对于学生而言,Ra...原创 2020-04-16 01:39:10 · 10507 阅读 · 1 评论 -
跟着微信后台团队学习分布式一致性协议
微信自研生产级paxos类库PhxPaxos实现原理介绍前言本文是一篇无需任何分布式以及paxos算法基础的人可以看懂的(这句话是骗人的)。微信重磅开源生产级paxos类库PhxPaxos,本文用科普的口吻向大家介绍PhxPaxos背后的实现原理以及一些有意思的细节。开源地址:https://github.com/tencent-wechat/phxpaxos原文地址:htt...转载 2020-02-13 13:49:35 · 545 阅读 · 0 评论 -
分布式文件系统(GFS和HDFS)概述
前言背景意义分布式存储相关概念 分布式存储系统的分类 CAP理论 复制副本 一致性 GFS架构 租约(lease)和变更顺序 容错机制前言因为我有一门分布式的课,老师要求我们选择一个课题做汇报,有GFS、Hadoop、Bigtable、MapReduce、C...原创 2019-11-24 21:03:39 · 10893 阅读 · 0 评论 -
OceanBase——双十一海量交易背后的复杂技术
前言:其实这篇博客我早就想完成它了,计划着在十一月初就搞定的,可是双十一活动太多,前几天一直在淘宝和天猫看要买的东西。这篇博客也是断断续续的写着,到今天才算是把它整理出来了。这篇博文主要介绍了OceanBase的系统框架,以及框架内各个成员的功能。主要是学习它的框架,以及分析问题、解决问题的方法。以下内容需要掌握基本的分布式系统相关知识,最好是阅读过分布式文件系统或者分布式数据库等相关书籍。以...原创 2019-11-15 18:40:54 · 7982 阅读 · 0 评论 -
SSTable数据结构
前言之前整理的Bigtable论文中文翻译中提及了SSTable,但在该论文中并没有给出相应的数据结构。在查询相关分布式的书籍后,找到了SSTable的数据结构,现将其作为笔记记录下来。以下内容源自《大规模分布式存储系统》,作者:杨传辉。哪里用到了SSTable?Bigtable采用Merge-dump存储引擎。数据写入时需要先写操作日志,成功后应用到内存中的MemTable中,...原创 2019-06-30 20:23:27 · 2778 阅读 · 0 评论 -
漫画讲解HDFS原理
HDFS简介Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取...翻译 2019-05-29 11:28:14 · 705 阅读 · 1 评论 -
安装Mongodb并解决用户授权问题
前言:最近学校有个大数据的作业要用到Mongodb,原本以为很快就可以搞定。但用yum安装的Mongodb在用户授权时一直出错,具体问题如下:[js] Error: listDatabases failed:{"ok" : 0,"errmsg" : "command listDatabases requires authentication","code" : 13,"codeN...原创 2019-05-26 20:36:30 · 3806 阅读 · 0 评论 -
Bigtable数据模型和架构
Introduction 简介Data Model 数据模型Rows 行Column Families 列族Timestamps 时间戳Bigtable数据模型知识整理Bigtable架构前言最近在看Bigtable的论文,其中的数据模型这部分一直没有很好的理解。现在先将论文中的部分原文展示出来,并附上中文翻译。之后是自己对Bigtable数据模型知识的整...原创 2019-05-05 20:36:36 · 13253 阅读 · 0 评论