分布式
文章平均质量分 92
茅坤宝骏氹
语言:Java、C/C++、C#、Python、Linux Shell。
框架:Spring、Spring MVC、Spring Boot、Spring Cloud、Hibernate、Mybatis、Freemarker、Velocity。
前端:HTML5、CSS3、JavaScript、Bootstrap、JQuery、Vue、React。
数据库:oracle、mysql、MongoDB、HBase。
缓存:Memcache、Redis。
消息队列:kafka。
大数据:Hadoop、Hive、Sqoop、Flume、Spark、Strom、OpenTSDB、Druid。
展开
-
分布式Session共享解决方案
转载自 分布式Session共享解决方案Session是服务器用来保存用户操作的一系列会话信息,由Web容器进行管理。单机情况下,不存在Session共享的情况,分布式情况下,如果不进行Session共享会出现请求落到不同机器要重复登录的情况,一般来说解决Session共享有以下几种方案。1、session复制session复制是早期的企业级的使用比较多的一种服务器集群session管理机制。应用...转载 2018-04-25 10:47:34 · 145 阅读 · 0 评论 -
什么是CAP定理
转载自 什么是CAP定理计算机界有很多高大上又难于理解的术语,CAP就是其中之一, 什么一致性(Consistency), 可用性(Availability), 分区容错性(Partition tolerance) 就很难理解了, 再加上CAP定理更是让人云里雾里, 今天咱们试图通俗的演绎一下。张大胖在公司奋发图强,经过多年的努力,终于做到了架构师的位置。架构师的椅子还没坐热,很快就来了一个项...转载 2018-05-07 10:37:24 · 1871 阅读 · 1 评论 -
漫画:什么是分布式锁
转载自 漫画:什么是分布式锁分布式锁的实现有哪些?1.Memcached分布式锁利用Memcached的add命令。此命令是原子性操作,只有在key不存在的情况下,才能add成功,也就意味着线程得到了锁。2.Redis分布式锁和Memcached的方式类似,利用Redis的setnx命令。此命令同样是原子性操作,只有在key不存在的情况下,才能set成功。(setnx命令并不完善,后续会介绍替代方...转载 2018-06-02 08:28:42 · 426 阅读 · 0 评论 -
一分钟实现分布式锁
转载自 一分钟实现分布式锁一、缘起分布式环境下,多台机器上多个进程对一个数据进行操作,如果不做互斥,就有可能出现“余额扣成负数”,或者“商品超卖”的情况,如何实现简易分布式锁,对分布式环境下的临界资源做互斥,是今天将要讨论的话题。 二、互斥原理原理:多个访问方对同一个资源进行操作,需要进行互斥,通常是利用一个这些访问方同时能够访问到的lock来实施互斥的。例子1:同一个进程内,多个线程的互斥,典...转载 2018-06-07 09:29:05 · 158 阅读 · 0 评论 -
这些分布式事务的解决方案,你都知道吗
转载自 这些分布式事务的解决方案,你都知道吗分布式事务是企业集成中的一个技术难点,也是每一个分布式系统架构中都会涉及到的一个东西,特别是在微服务架构中,几乎可以说是无法避免。数据库事务在说分布式事务之前,我们先从数据库事务说起。 数据库事务可能大家都很熟悉,在开发过程中也会经常使用到。但是即使如此,可能对于一些细节问题,很多人仍然不清楚。比如很多人都知道数据库事务的几个特性:原...转载 2018-09-25 19:39:40 · 223 阅读 · 0 评论 -
什么是 TCC分布式事务
转载自 什么是 TCC分布式事务近两年微服务变得越来越火热,各种框架与组件的出现,更是为微服务的开发提供了便利。我们都知道,每个微服务都是一个对应的小服务,多个服务之间可以方便的进行功能的组合,来形成功能更强大的服务。服务间数据与部署都是独立的,这样故障也可以做到相互隔离。但是这也带来了分布式应用都会面对的问题:如何保证多个服务间的事务?怎样才能使操作的原子性、一致性等得到保证?...转载 2018-10-01 23:58:20 · 1475 阅读 · 0 评论 -
学习分布式不得不会的BASE理论
转载自 学习分布式不得不会的BASE理论 eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结,在ACM上发表文章提出BASE理论,BASE理论是对CAP理论的延伸,核心思想是即使无法做到强一致性(Strong Consistency,CAP的一致性就是强一致性),但应用可以采用适合的方式达到最终一致性(Eventual Consitency)。BASE是指基...转载 2018-10-19 12:39:26 · 155 阅读 · 0 评论 -
学习分布式不得不会的ACP理论
转载自 学习分布式不得不会的ACP理论2000年7月,加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后,麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后,CAP理论正式成为分布式计算领域的公认定理。无论你是一个系统架构师,还是一个普通开发,当你开发或者设计一个分布式系统的时候,CAP理论是无论如何也...转载 2018-10-20 11:38:05 · 7055 阅读 · 2 评论 -
深入理解分布式系统中的缓存架构(下)
转载自 深入理解分布式系统中的缓存架构(下)承接上一篇《理解分布式系统中的缓存架构(上)》,介绍了大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景,本文主要介绍缓存架构设计常见问题以及解决方案,业界案例。 分层缓存架构设计分层缓存架构分层缓存架构请求过程 缓存带来的复杂度问题常见的问题主要包括 数据一致性 缓存穿透 缓...转载 2018-10-20 11:28:49 · 254 阅读 · 0 评论 -
深入理解分布式系统中的缓存架构(上)
转载自 深入理解分布式系统中的缓存架构(上)本文主要介绍大型分布式系统中缓存的相关理论,常见的缓存组件以及应用场景。1 缓存概述 2 缓存的分类缓存主要分为以下四类2.1 CDN缓存基本介绍CDN(Content Delivery Network 内容分发网络)的基本原理是广泛采用各种缓存服务器,将这些缓存服务器分布到用户访问相对集中的地区或网络中,在用...转载 2018-10-20 11:15:39 · 188 阅读 · 0 评论 -
分布式事务解决方案——柔性事务与服务模式
转载自 分布式事务解决方案——柔性事务与服务模式初识分布式系统关于分布式一致性的探究分布式系统的CAP理论(需要到博客中查看)分布式系统的BASE理论(需要到博客中查看)Java中的事务——JDBC事务和JTA事务Java中的事务——全局事务与本地事务关于分布式事务、两阶段提交协议、三阶提交协议深入理解分布式系统的2PC和3PC这里简单总结下以前几篇文章,算...转载 2018-10-20 11:13:05 · 235 阅读 · 0 评论 -
关于分布式事务、两阶段提交协议、三阶提交协议
转载自 关于分布式事务、两阶段提交协议、三阶提交协议随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致...转载 2018-09-29 19:22:04 · 149 阅读 · 0 评论 -
分布式系统Paxos算法
转载自分布式系统Paxos算法 这是一个有关Paxos算法非常形象的讲解与示范。Paxos是能够基于一大堆完全不可靠的网络条件下却能可靠确定地实现共识一致性的算法。也就是说:它允许一组不一定可靠的处理器(服务器)在某些条件得到满足情况下就能达成确定的安全的共识,如果条件不能满足也确保这组处理器(服务器)保持一致。什么是共识? 具体来说是这样:分布式系统中由于网络之间通讯可能会中断...转载 2018-09-29 19:35:28 · 214 阅读 · 0 评论 -
分布式系统的Raft算法
转载自分布式系统的Raft算法过去, Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,主要注重协议的落地性和可理解性。 在了解Raft之前,我们先了解Consensus一致性这个概念,它是指多个...转载 2018-09-29 19:53:17 · 204 阅读 · 0 评论 -
ACID中C与CAP定理中C的区别
转载自 ACID中C与CAP定理中C的区别ACID和CAP定理中都有C,代表Consistent一致性,很多人容易将这两个C混为一谈,其实这两个一致性是有区别的。事务的定义是一系列操作要么全部成功,要么全部不成功,数据库的事务机制是通过ACID实现的,数据库ACID的具体定义见这里,ACID中的一致性的定义是:一个事务可以封装状态改变(除非它是一个只读的)。事务必须始终保持系统处于一致的状...转载 2018-09-29 19:56:23 · 1930 阅读 · 0 评论 -
分布式系统中处理参数配置的 4 种方案
转载自 分布式系统中处理参数配置的 4 种方案一个系统中包含有各种各样的配置信息,如一个日志文件需要配置以下几个信息。 日志文件生成主目录 日志文件名称,不同的日志级别对应不同的文件 当前日志级别 还有其他各种业务参数、系统参数等,大多单一系统是直接把这些配置写死在配置文件中,当部署到测试、生产环境就再修改下配置文件,这样很容易出错,也不能灵活修改。还有就是系...转载 2018-10-27 11:01:15 · 180 阅读 · 0 评论 -
你真的很熟分布式和事务吗?
转载自你真的很熟分布式和事务吗?微吐槽hello,world.不想了,我等码农,还是看看怎么来处理分布式系统中的事务这个老大难吧!本文略长,读者需要有一定耐心,如果你是高级码农或者架构师级别,你可以跳过。本文注重实战或者实现,不涉及CAP,略提ACID。本文适合基础分布式程序员:1. 本文会涉及集群中节点的failover和recover问题.2. 本文会涉及事...转载 2019-04-27 11:07:46 · 261 阅读 · 0 评论 -
分布式服务防雪崩熔断器,Hystrix理论+实战
转载自 分布式服务防雪崩熔断器,Hystrix理论+实战Hystrix是什么?hystrix对应的中文名字是“豪猪”,豪猪周身长满了刺,能保护自己不受天敌的伤害,代表了一种防御机制,这与hystrix本身的功能不谋而合,因此Netflix团队将该框架命名为Hystrix,并使用了对应的卡通形象做作为logo。在一个分布式系统里,许多依赖不可避免的会调用失败,比如超时、异常等,如何能够保证在一个依赖...转载 2018-04-26 09:29:26 · 268 阅读 · 0 评论 -
深入理解分布式系统的2PC和3PC
转载自 深入理解分布式系统的2PC和3PC 关注我的博客(http://www.hollischuang.com)的人可能都知道,我之前写过一篇文章专门介绍了一下2PC和3PC(详见:关于分布式事务、两阶段提交协议、三阶提交协议)。上一篇文章中主要介绍了下这两种分布式一致性协议的概念、具体提交流程以及优缺点。本文在上篇文章的基础上在深入了解下这两种分布式一致性协议。主要来分析下为什么2PC...转载 2018-07-24 23:35:55 · 329 阅读 · 0 评论 -
关系型数据的分布式处理系统:Cobar
转载自 关系型数据的分布式处理系统:CobarCobar简介Cobar是关系型数据的分布式处理系统,它可以在分布式的环境下像传统数据库一样为您提供海量数据服务。Github:https://github.com/alibaba/cobar整体架构图:快速启动场景系统对外提供的数据库名是dbtest,并且其中有两张表tb1和tb2。tb1表的数据被映射到物理数据库dbtest1的tb1上。tb2表的...转载 2018-04-25 10:47:08 · 168 阅读 · 0 评论 -
分布式系统架构常识:CAP理论
转载自 分布式系统架构常识:CAP理论什么是CAP理论?2000年7月,加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后麻省理工学院的Seth Gilbert和NancyLynch从理论上证明了CAP,之后CAP理论正式成为分布式计算领域的公认定理。CAP理论是由下面三个概念组成的,且在分布式系统中三者不能兼得,只能同时满足两种条件。一致性(C)All ...转载 2018-04-25 10:47:04 · 128 阅读 · 0 评论 -
到底什么是分布式系统
转载自 到底什么是分布式系统分布式系统背景说分布式系统必须要说集中式系统,集中式系统中整个项目就是一个独立的应用,整个应用也就是整个项目,所有的东西都在一个应用里面。如下图所示如一个网站就是一个应用,最后是多个增加多台服务器或者多个容器来达到负载均衡的避免单点故障的目的,当然,数据库是可以分开部署的。集中式很明显的优点就是开发测试运维会比较方便,不用为考虑复杂的分布式环境。集中式很明显的弊端就是不...转载 2018-04-24 11:13:47 · 245 阅读 · 0 评论 -
漫画:什么是分布式事务
转载自 漫画:什么是分布式事务?————— 第二天 —————————————————假如没有分布式事务在一系列微服务系统当中,假如不存在分布式事务,会发生什么呢?让我们以互联网中常用的交易业务为例子:上图中包含了库存和订单两个独立的微服务,每个微服务维护了自己的数据库。在交易系统的业务逻辑中,一个商品在下单之前需要先调用库存服务,进行扣除库存,再调用订单服务,创建订单记录。正常情况下,两个数...转载 2018-04-17 22:47:02 · 279 阅读 · 0 评论 -
图解分布式架构的演进
转载自 图解分布式架构的演进一、什么是分布式架构分布式系统(distributed system) 是建立在网络之上的软件系统。内聚性:是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性:是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据系统中,用户感觉不数据是分布的,即用户不须知道关系是否分割,有无副本,数据存在于那个站点以及事物在哪个站点上执行...转载 2018-05-04 10:22:25 · 242 阅读 · 0 评论 -
百度分布式配置管理平台-Disconf
转载自 【推荐】百度分布式配置管理平台-DisconfDisconf介绍全称:Distributed Configuration Management Platform,即分布式配置管理平台。Disconf专注于各种分布式系统配置管理的通用组件和通用平台, 提供统一的配置管理服务。主要目标:部署极其简单:同一个上线包,无须改动配置,即可在 多个环境中(RD/QA/PRODUCTION) 上线。部署...转载 2018-04-25 22:03:14 · 305 阅读 · 0 评论 -
漫画:什么是拜占庭将军问题
转载自漫画:什么是拜占庭将军问题什么是拜占庭将军问题?在很久很久以前,拜占庭是东罗马帝国的首都。那个时候罗马帝国国土辽阔,为了防御目的,因此每个军队都分隔很远,将军与将军之间只能靠信使传递消息。在打仗的时候,拜占庭军队内所有将军必需达成一致的共识,才能更好地赢得胜利。但是,在军队内有可能存有叛徒,扰乱将军们的决定。这时候,在已知有成员不可靠的...转载 2019-10-20 14:59:34 · 1055 阅读 · 0 评论 -
理解大型分布式网站你必须知道这些概念
转载自 理解大型分布式网站你必须知道这些概念 1. I/O优化 增加缓存,减少磁盘的访问次数。 优化磁盘的管理系统,设计最优的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。 设计合理的磁盘存储数据块,以及访问这些数据库的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可以采用异步和非阻塞的方...转载 2018-07-22 12:44:39 · 140 阅读 · 0 评论 -
分布式锁的多种实现方式
转载自 分布式锁的多种实现方式目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时满足两项。”所以,很多系统在设计之初就要对这三者做出取舍。在互联网领域的...转载 2018-07-22 12:45:13 · 117 阅读 · 0 评论 -
大家都在说的分布式系统到底是什么
转载自 大家都在说的分布式系统到底是什么随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。这是我博客中之前发过的一篇文章,关于分布...转载 2018-07-04 09:28:50 · 453 阅读 · 0 评论 -
初识分布式系统
转载自 初识分布式系统 随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。一、集中式系统在学习分布式之前,先了...转载 2018-07-24 23:34:39 · 116 阅读 · 0 评论 -
分布式的CAP理论
转载自 分布式的CAP理论 CAP理论概述2000年7月,加州大学伯克利分校的Eric Brewer教授在ACM PODC会议上提出CAP猜想。2年后,麻省理工学院的Seth Gilbert和Nancy Lynch从理论上证明了CAP。之后,CAP理论正式成为分布式计算领域的公认定理。 一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availabili...转载 2018-07-24 23:34:49 · 147 阅读 · 0 评论 -
分布式系统的BASE理论
转载自 分布式系统的BASE理论 BASE理论eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结,在ACM上发表文章提出BASE理论,BASE理论是对CAP理论的延伸,核心思想是即使无法做到强一致性(Strong Consistency,CAP的一致性就是强一致性),但应用可以采用适合的方式达到最终一致性(Eventual Consitency)。BAS...转载 2018-07-24 23:35:14 · 221 阅读 · 0 评论 -
关于分布式一致性的探究
转载自 关于分布式一致性的探究 随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在初识分布式系统一文中简单介绍了分布式的基本概念,本文将在上篇文章的基础上继续学习分布式的一致性问题。主要介绍分布式一致性的基本概念、...转载 2018-07-24 23:35:23 · 113 阅读 · 0 评论 -
关于分布式事务、两阶段提交协议、三阶提交协议
转载自 [高级]关于分布式事务、两阶段提交协议、三阶提交协议 随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在分布式一致性一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问...转载 2018-07-24 23:35:33 · 139 阅读 · 0 评论 -
面试官:给我说一下你理解的分布式架构
转载自面试官:给我说一下你理解的分布式架构# 什么是分布式架构分布式系统(distributed system) 是建立在网络之上的软件系统。内聚性:是指每一个数据库分布节点高度自治,有本地的数据库管理系统。透明性:是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。在分布式数据系统中,用户感觉不数据是分布的,即用户不须知道关系是否分割,有无副本,数据...转载 2019-05-13 22:59:33 · 4330 阅读 · 0 评论