![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
文章平均质量分 91
吃胖点儿
“学会求知,学会做事,学会共处,学会做人。”致自己共勉 。技术探讨可以加281954986
展开
-
分布式场景怎么Join,一文讲解
算法有很多种,这里举例是hash算法),那么这两张表的分片或许可以在同一个物理库中,这样我们不需要做大表维度的处理,我们可以直接下推Join操作到对应的物理库操作即可。在ShardingSphere中,这种场景类似于绑定表的定义,如果两张表的算法相同,可以直接配置绑定表的关系,进行相同算法的连接查询,避免复杂的笛卡尔积。举个例子,有一张非常小的表A,还有一张按照ID分片的表B,我们可以在每一个物理库中复制一份表A,这样我们的Join操作就可以直接下推到每一个数据库操作了。这种现象称为数据倾斜。原创 2024-02-22 18:51:38 · 1251 阅读 · 0 评论 -
初认识分布式一致性算法raft
前言:在分布式的系统中,存在很多的节点,节点之间如何进行协作运行、高效流转、主节点挂了怎么办、如何选主、各节点之间如何保持一致,这都是不可不面对的问题,此时raft算法应运而生,专门 用来解决上述问题。对于分布式的一致性算法,著名的有paxos,zookeeper基于paxos提出了zab协议, paxos是出名的晦涩难懂.而raft的设计初衷就是容易理解和简单、高效,本篇博客我们就来循序渐进的看看raft到底是什么?它的运行原理是什么样的?一:raft的状态raft的集群角色分为3种,..转载 2021-02-20 09:38:36 · 233 阅读 · 0 评论 -
分布式一致性讲解之Hash实现负载均衡
简介一致性Hash是一种特殊的Hash算法,由于其均衡性、持久性的映射特点,被广泛的应用于负载均衡领域,如nginx和memcached都采用了一致性Hash来作为集群负载均衡的方案。本文将介绍一致性Hash的基本思路,并讨论其在分布式缓存集群负载均衡中的应用。同时也会进行相应的代码测试来验证其算法特性,并给出和其他负载均衡方案的一些对比。一致性Hash算法简介在了解一致性Hash...原创 2020-04-23 10:35:09 · 394 阅读 · 0 评论 -
如何设计一个高性能的短链路系统!!!!
前言今天,我们来谈谈如何设计一个高性能短链系统短链系统设计看起来很简单,但每个点都能展开很多知识点,也是在面试中非常适合考察侯选人的一道设计题本文将会结合我们生产上稳定运行两年之久的高性能短链系统给大家简单介绍下设计这套系统所涉及的一些思路,希望对大家能有一些帮助。本文将会从以下几个方面来讲解,每个点包含的信息量都不少,相信大家看完肯定有收获 短链有啥好处,用长链不香吗 ...原创 2020-03-21 15:44:41 · 715 阅读 · 0 评论 -
百度开源的分布式id
UidGenerator是百度开源的Java语言实现,基于Snowflake算法的唯一ID生成器。而且,它非常适合虚拟环境,比如:Docker。另外,它通过消费未来时间克服了雪花算法的并发限制。UidGenerator提前生成ID并缓存在RingBuffer中。压测结果显示,单个实例的QPS能超过6000,000。依赖环境: JDK8+ MySQL(用于分配WorkerId)...原创 2020-03-16 14:03:50 · 1020 阅读 · 0 评论 -
架构设计的5个要素
架构中五个重要的核心指标:分别是性能、可用性、伸缩性、扩展性和安全性。一、性能性能就是核心要素之一,不然我为什么架构设计?随随便便一个lowlow的系统上线就好了。所以性能优化是很多小公司卖不去过的坎。这么说吧,当然优化网站性能的手段也非常多:(1)web前端性能优化:浏览器访问优化(浏览器缓存、页面压缩传输、合理布局页面、减少Cookie传输)减少http请求...原创 2020-03-11 22:28:53 · 288 阅读 · 0 评论 -
微服务2.0技术选型手册
一、前言二、选型准侧三、微服务基础架构核心关注点四、服务框架选型五、运行时支撑服务选型六、服务监控选型七、服务容错选型八、后台服务选型九、服务安全选型十、服务部署平台选型十一、写在最后一、前言2014年可以认为是微服务1.0的元年,当年有几个标志性事件一是Martin Fowler在其博客上发表了“Microservices”一文,正式提出微服务架构风格;二...原创 2020-02-28 14:44:29 · 372 阅读 · 0 评论 -
分布式文件系统应该从哪些方面考虑
分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景 / 问题时,具有借鉴意义。并且,分布式文件系统并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。本文试图分析和思考,在分布式文件系统领域,我们要解决哪些问题、有...原创 2020-02-19 16:14:29 · 411 阅读 · 0 评论 -
两万字深度介绍分布式系统原理!【收藏了~】
1 概念 1.1 模型 1.2 副本 1.3 衡量分布式系统的指标 2 分布式系统原理 2.1 数据分布方式 2.2 基本副本协议 2.3 Lease 机制 2.4 Quorum 机制 2.5 日志技术 2.6 两阶段提交协议 2....转载 2020-01-12 12:31:00 · 172 阅读 · 0 评论 -
分布式系统的唯一id生成算法你了解吗
“ 之前一篇文章,我们聊了一下分库分表相关的一些基础知识,具体可以参见:《支撑日活百万用户的高并发系统,应该如何设计其数据库架构?》。 这篇文章,我们就接着分库分表的知识,来具体聊一下全局唯一id如何生成。 在分库分表之后你必然要面对的一个问题,就是id咋生成? 因为要是一个表分成多个表之后,每个表的id都是从1开始累加自增长,那肯定不对啊。 举个例子,你的...转载 2019-02-20 09:26:07 · 238 阅读 · 0 评论