分布式
MayMatrix
J2EE .
展开
-
京东毫秒级热key探测框架设计与实践,已实战于618大促
项目地址:https://gitee.com/jd-platform-opensource/hotkey京东-平台业务中心/hotkey在拥有大量并发用户的系统中,热key一直以来都是一个不可避免的问题。或许是突然某些商品成了爆款,或许是海量用户突然涌入某个店铺,或许是秒杀时瞬间大量开启的爬虫用户, 这些突发的无法预先感知的热key都是系统潜在的巨大风险。风险是什么呢?主要是数据层,其次是服务层。热key对数据层的冲击显而易见,譬如数据存放在redis或者MySQL中,以redis...转载 2020-09-10 20:02:38 · 566 阅读 · 0 评论 -
共识算法:Raft
拜占庭将军问题https://www.jianshu.com/p/26adc88a1f49针对简化版拜占庭将军问题,Raft 解决方案类比我们还是用拜占庭将军的例子来帮助理解 Raft。假设将军中没有叛军,信使的信息可靠但有可能被暗杀的情况下,将军们如何达成一致性决定?Raft 的解决方案大概可以理解成 先在所有将军中选出一个大将军,所有的决定由大将军来做。选举环节:比如说现在一共有3个将军 A, B, C,每个将军都有一个随机时间的倒计时器,倒计时一结束,这个将军就会把自己..转载 2020-05-15 17:50:24 · 368 阅读 · 0 评论 -
分布式定时任务调度框架选型
分布式定时任务调度框架选型背景业务场景定期执行任务:如每天0点做资源稽查;需求和痛点集群部署服务时,如何确保任务不被重复执行?---最急迫如何监控、告警等;高可用、无单点故障;优秀的并行处理能力、分片能力;自研 or 开源任何工具的使用都要结合自身的业务场景,脱落业务场景谈技术选型就是耍流氓。考虑私有云场景业务量一般,高并发场景很少遇到,同一时间也不会有超...转载 2020-05-08 16:44:41 · 1029 阅读 · 2 评论 -
「分布式系统前沿技术」专题 | 微服务架构何去何从?
「分布式系统前沿技术」专题 | 微服务架构何去何从?数据库分布式分布式系统微服务发布于 2019-12-27约 15 分钟分布式技术的发展,深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末,PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题, 邀请众多技术团队共同参与,一起探索这个古老领域的新生机。本文出自转转首席架构师孙玄。微服务架构模...转载 2020-02-27 16:26:17 · 295 阅读 · 0 评论 -
几种灰度发布方案
原文:https://blog.csdn.net/hueason/article/details/81054093 一、灰度发布定义灰度发布(又名金丝雀发布)是指在黑与白之间,能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B 上面来。灰度发布...转载 2018-12-10 17:22:19 · 14937 阅读 · 1 评论 -
ActiveMQ的多种部署方式
构建高可用的ActiveMQ系统在生产环境中是非常重要的,单点的ActiveMQ作为企业应用无法满足高可用和集群的需求,所以ActiveMQ提供了master-slave、broker cluster等多种部署方式,但通过分析多种部署方式之后我认为需要将两种部署方式相结合才能满足我们公司分布式和高可用的需求,所以后面就重点将解如何将两种部署方式相结合。 自从activemq5.9.0开始,转载 2017-09-17 11:53:54 · 4076 阅读 · 0 评论 -
ActiveMQ安装配置 和 使用简例
JMS(Java Messaging Service)是Java平台上有关面向消息中间件的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发,ActiveMQ而是这个规范的一个具体实现。JMS的队列消息传递过程如下图:JMS的主题消息传递过程如下图:ActiveMQ下载与部署。转载 2017-09-17 11:47:29 · 974 阅读 · 0 评论 -
Apache ActiveMQ 各个版本所依赖的JDK版本
ActiveMQ下载地址http://activemq.apache.org/download-archives.htmlActiveMQ 依赖JDK版本MQ版本号Build-Jdk依赖JDKapache-activemq-5.0.01.5.0_121.5+apache-activemq-5转载 2017-09-17 11:45:33 · 925 阅读 · 0 评论 -
CAP原理分析[2]维基百科 解释
前言众所周知,CAP理论是架构师在设计分布式系统过程中,处理数据一致性问题时必须考虑的基石级理论(圣经级的,V)。大意是说,在分布式网络分区环境中,数据的一致性、可用性和分区容忍性三者之间,至多只能保证两者,无法三者同时保证。对于CAP理论,个人刚接触时感觉很容易理解,不就是讲的一个在分布式环境下鱼和熊掌不能兼得的问题吗?诚然,如果从直观上泛泛而谈,的确不难,即在多节点的网络环境中,当要求数据强...转载 2019-08-30 10:27:32 · 769 阅读 · 0 评论 -
CAP原理分析[3]总结-大数据之分布式系统CAP理论
分布式系统传统的系统架构形式是纵向扩展,所谓纵向扩展就是所说的“堆硬件”,1G内存不够,就再加上1G内存,依此类推。但是,这样做有一个坏处,就是提升的空间有限,不够灵活。随着硬件资源的越发便宜,再加上若干个节点组成一个集群已经可以从理论层面走向实践。通过集群的方式来构成我们私人的“超级计算机”理论上是没有问题的。集群之间需要进行通信,通信的方式就采用TCP通信形式,虽然TCP通信能够保证可...转载 2019-08-30 10:30:41 · 298 阅读 · 0 评论 -
CAP原理分析[4]ACID和CAP的详尽比较
ACID和CAP的详尽比较 事务机制ACID和CAP理论是数据管理和分布式系统中两个重要的概念,很不巧,这两个概念中都有相同的“C”代表 "Consistency"一致性,但是实际上是完全不同的意义,下面是比较两个概念的不同之处。什么是ACID? 事务的定义和实现一直随着数据管理的发展在演进,当计算机越来越强大,它们就能够被用来管理越来越多数据,最终,多个用户可以在一台计算机上共...转载 2019-08-30 10:37:24 · 264 阅读 · 0 评论 -
分布式事务:不过是在一致性、吞吐量和复杂度之间,做一个选择
这是一个开撕的话题,我经历过太多的关于分布式事务的需求:“有没有简单的方案,像使用数据库事务那样,解决分布式数据一致性的问题”。特别是微服务架构流行的今天,一次交易需要跨越多个“服务”、多个数据库来实现,传统的技术手段,已经无法应对和满足微服务情况下这些复杂的场景了。针对微服务下的交易业务如何保障数据一致性,本文尽量做到理论结合实践,将我们在实际产品中用到的分布式事务实现机制,和大家扒一扒,希望能...转载 2019-09-05 10:02:41 · 187 阅读 · 0 评论 -
Spring Cloud分布式事务终极解决方案探讨
开源项目我们利用消息队列实现了分布式事务的最终一致性解决方案,请大家围观。可以参考GithubCoolMQ源码,项目支持网站:http://rabbitmq.org.cn,最新文章或实现会更新在上面二 前言阿里2017云栖大会《破解世界性技术难题!GTS让分布式事务简单高效》中,阿里声称提出了一种破解世界性难题之分布式事务的终极解决方案,无论是可靠性、还是处理速率都领先于市面上所有...转载 2019-09-05 10:01:48 · 1338 阅读 · 0 评论 -
详细解读 Github 上发布仅一个月就获得4k+ star 的分布式事务解决方案
导读:阿里分布式事务开源项目Fescar,自1月9日发布第一个版本以来,便受到了开发者的极大关注,目前收获的star数已超过4700,本文将详细解读这款分布式事务解决方案,希望对您有所帮助。FESCAR on GitHubhttps://github.com/alibaba/fescar更新:FESCAR 已更新为Seata微服务倡导将复杂的单体应用拆分为若干...转载 2019-09-05 10:01:33 · 768 阅读 · 0 评论 -
jdk1.8 LongAdder源码学习
LongAdder是jdk8新增的用于并发环境的计数器,目的是为了在高并发情况下,代替AtomicLong/AtomicInt,成为一个用于高并发情况下的高效的通用计数器。高并发下计数,一般最先想到的应该是AtomicLong/AtomicInt,AtmoicXXX使用硬件级别的指令 CAS 来更新计数器的值,这样可以避免加锁,机器直接支持的指令,效率也很高。但是AtomicXXX中的 CAS ...转载 2019-09-05 09:57:29 · 113 阅读 · 0 评论 -
【ZooKeeper 3】ZooKeeper典型应用场景一览
ZooKeeper典型应用场景一览数据发布与订阅(配置中心)发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样:应用在启动的时候转载 2017-07-18 14:55:30 · 473 阅读 · 0 评论 -
【ZooKeeper 2】ZooKeeper原理及应用场景
ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper,第一部分介绍ZooKeeper的基本原理,第二部分介绍ZooKeeper提供的Client API的使用,第三部分介绍一些ZooKeeper典型的应用场景转载 2017-07-05 16:21:53 · 372 阅读 · 0 评论 -
集群高可用架构整理
在大型系统或是对稳定性要求较高的项目中,集群高可用架构是必不可少的,这里整理一些平时用到过的集群/高可用技术,不断更新中。。。二种最基本的集群模型:M-S 型集群: M-S 型的集群一般用于高可用架构,主节点挂掉时从节点顶上,一般不具有分流(负载均衡)的作用。M-M 型集群: M-M 型的集群一般用于分流(负载均衡),部分 M-M 型集群会包含 M-S 型的主从功能(像 Red转载 2017-07-20 14:01:27 · 1041 阅读 · 0 评论 -
Redis 安装
Redis 安装Window 下安装下载地址:https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择,这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘,解压后,将文件夹重新命名为 redis。打开一个 cmd 窗口 使用cd命令切换转载 2017-06-07 16:18:00 · 421 阅读 · 0 评论 -
【分布式设计与开发1】宏观概述
在IDF05(Intel Developer Forum 2005)上,Intel首席执行官Craig Barrett就取消4GHz芯片计划一事,半开玩笑当众单膝下跪致歉,给广大软件开发者一个明显的信号,单纯依靠垂直提升硬件性能来提高系统性能的时代已结束,分布式开发的时代实际上早已悄悄地成为了时代的主流,吵得很热的云计算实际上只是包装在分布式之外的商业概念,很多开发者(包括我)都想加入研究云计算这转载 2017-07-05 15:53:14 · 258 阅读 · 0 评论 -
集群概念—— 分布式与集群的联系与区别
集群概念1. 两大关键特性 集群是一组协同工作的服务实体,用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来,一个集群就象是一个服务实体,但事实上集群由一组服务实体组成。与单一服务实体相比较,集群提供了以下两个关键特性:· 可扩展性--集群的性能不限于单一的服务实体,新的服务实体可以动态地加入到集群,从而增强集群的性能。· 高可用性--集群通过服务实体转载 2017-07-05 15:54:55 · 397 阅读 · 0 评论 -
【分布式设计与开发2】几种必须了解的分布式算法
分布式设计与开发中有些疑难问题必须借助一些算法才能解决,比如分布式环境一致性问题,感觉以下分布式算法是必须了解的(随着学习深入有待添加):Paxos算法一致性Hash算法Paxos算法1)问题描述分布式中有这么一个疑难问题,客户端向一个分布式集群的服务端发出一系列更新数据的消息,由于分布式集群中的各个服务端节点是互为同步数据的,所以运行完客户端这系列消息指令后各转载 2017-07-05 15:58:12 · 332 阅读 · 0 评论 -
【分布式设计与开发4】高一致服务——ZooKeeper基础
分布式环境中大多数服务是允许部分失败,也允许数据不一致,但有些最基础的服务是需要高可靠性,高一致性的,这些服务是其他分布式服务运转的基础,比如naming service、分布式lock等,这些分布式的基础服务有以下要求:高可用性高一致性高性能对于这种有些挑战CAP原则 的服务该如何设计,是一个挑战,也是一个不错的研究课题,Apache的ZooKeeper也许给了我们一个不错的答案转载 2017-07-05 15:26:41 · 249 阅读 · 0 评论 -
【分布式设计与开发3】什么是分布式架构设计中的CAP原理
分布式系统;CAP原理;架构设计一、引言在2000年7月ACM (美国计算机协会) 组织的PODC (PrinciplesofDistributedComputing分布式计算原理) 会议上,UCBerkeley大学的EricABrewer教授发表了题为TowardsRobustDistributedSystems[1]的演讲,以其本人参与的Inktomi搜索引擎、BerkeleyNin转载 2017-07-05 15:21:45 · 2026 阅读 · 0 评论 -
【Zookeeper 1】Zookeeper的功能以及工作原理
1.ZooKeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeeper提供了什么?1)文件系统2)通知机制3.Zookeeper文转载 2017-07-05 16:23:40 · 374 阅读 · 0 评论 -
【消息队列】一、Spring整合JMS(消息中间件)
本篇主要介绍了异步消息机制及spring对JMS封装,本篇文章讲解较为详细,如果想直接看如何配置,可以参考: Spring整合JMS(消息中间件)实例,但还是建议大家先看完本篇文章。一、消息异步处理类似于RMI、Hessian、Burlap等远程方法调用,它们都是同步的,所谓同步调用就是客户端必须等待操作完成,如果远程服务没有返回任何响应,客户端会一直等待直到服务完成。转载 2017-06-14 16:10:08 · 1098 阅读 · 0 评论 -
【消息队列】if-mdp使用手册
转自:http://blog.csdn.net/wo240/article/details/47306565对spring jms做了简单的封装,使配置更加简单。1. 新版MDP总体介绍方便多tibco ems环境下的接入;引入mdp schema,配置更灵活,无需依赖其它xml bean配置文件;既支持queue,也支持topic;支持对多queue的广播转载 2017-06-14 16:21:26 · 542 阅读 · 0 评论 -
zookeeper在dubbo起了什么作用
dubbo是管理中间层的工具,在业务层到数据仓库间有非常多服务的接入和服务提供者需要调度,dubbo提供一个框架解决这个问题。注意这里的dubbo只是一个框架,至于你架子上放什么是完全取决于你的,就像一个汽车骨架,你需要配你的轮子引擎。这个框架中要完成调度必须要有一个分布式的注册中心,储存所有服务的元数据,你可以用zk,也可以用别的,只是大家都用zk。至于怎么解决高并发。。百度一下du转载 2017-06-15 10:57:06 · 2857 阅读 · 2 评论 -
Dubbo架构设计详解
Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合)。从服务模型的角度来看,Dubbo采用的是一种非常简单的模型,要么是提供方提供服务,要么是消费方消费服务,所以基于这一点可以抽象出服务提供方(Provider)和服务消费方(Consumer)两个角色。关于注册中心、协议支持、服务监控等内容,详见后面描述。转载 2017-06-15 11:05:39 · 271 阅读 · 0 评论 -
Nginx原理简介与 搭建反向代理服务器过程详解
1.1 反向代理初印象1.2 反向代理的作用2.1 Nginx是神马?2.2 Nginx的应用现状2.3 Nginx的核心特点3.1 准备一个ASP.NET网站部署到IIS服务器集群中3.2 下载Nginx并部署到服务器中作为自启动的Wind转载 2015-10-16 17:21:41 · 4496 阅读 · 0 评论 -
分布式核心技术 .
分布式核心技术分为:分布式并行计算、分布式缓存、一致性、消息队列、分布式文件系统。是大型互联网应用背后的核心技术,是从业互联网技术的工程师最关心和想掌握的,目前广泛应用于搜索、云计算、大数据等领域。 从最简单的最简单的master-slave计算结构开始展示了淘宝的Fourinone分布式计算整体架构。并且用“工头”“仓库”与“工人”对分布式计算作出了形象的比喻。也详细的讲解了Fou转载 2015-07-21 11:41:34 · 4785 阅读 · 0 评论 -
用消息队列和消息应用状态表来消除分布式事务
由于数据量的巨大,大部分Web应用都需要部署很多个数据库实例。这样,有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段提交协议。长期以来,分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵,很多人都不敢越雷池一步,想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户的转载 2017-03-10 21:31:19 · 463 阅读 · 0 评论