分布式技术
文章平均质量分 52
BeALittleCat
这个作者很懒,什么都没留下…
展开
-
一致性hash算法
1. 使用场景应用场景十分广泛,比如分布式缓存中根据key找到存储在哪台服务器上(分布式架构缓存)。2. 什么是一致性hash算法?先理解一下图:分布式架构缓存处理中,Hash算法分散数据存储hash(n)%4 同时也可以快速查找数据而不用遍历所有的服务器。然而,如果服务器数量增加或减少,要么缓存服务器数据全部需要重新计算存储 -----hash(n)%5 ,要么需要遍历所有缓存服务器。显然这种做法不够灵活应对生产中的场景。因此才引入一致性hash算法。3. hash环了原创 2021-04-11 15:00:22 · 121 阅读 · 0 评论 -
mysql分布式实践 - keepalived 实现IP漂移
前言:mysql 分布式尤其是主-主 复制架构中,也是实现了读写分离的,如果有一个主master 挂掉了,那么如何让用户无感知的将请求打到另外一个master上?keepalived 插件的IP漂移就可以实现。待整理中.......原创 2021-03-08 17:59:58 · 835 阅读 · 2 评论 -
mysql分布式实践 - 主从半同步复制
Mysql主从半同步复制这里也是一系列的配置,结合原理才能了解主从半同步复制到底做了一件什么事。1、mysql复制原理原创 2021-03-08 16:51:01 · 410 阅读 · 0 评论 -
mysql分布式实践 - 搭建主从复制集群
开发人员不要总是认为搭建mysql 集群这种工作都是架构师或者是运维的事,反过来想想架构师之所以是架构师,也不是一毕业就成为了架构师,所以鄙人认为只要是工作3年以上的后段研发同学都有必要搞一搞这种事。俗称,搞事情。在成为大牛的道路上,大家还有许许多多小怪兽要打呀????????下面是正经的搭建过程了# 前期准备 #1、环境准备我的环境是 mac os, 所需虚拟机版本是VMware Fusion12,其他操作系统的自己调兑。还需你下载一个cenos7的iso镜像(我已上传资源),最好选一原创 2021-03-08 13:39:27 · 189 阅读 · 0 评论 -
微服务常见解决方案和高并发常见解决方案、以上特殊解决方案
我确实比较懒,有些东西总是会写到自己的笔记本上或者在线笔记中,一般很少总结写到博客中。6年的从业经验不是白说的。6年足以将基础打劳足以应对工作中的各种问题。6年缺的是大场景大case,一些面试者总想问你有没有xxx解决方案。闲来无事确实总结了一些,如果你需要,可以私信聊聊。不敢说有特别好特别完美的方案,但是从个人视角结合知识再结合经验还是有点可说的内容的。如果你需要请私信。...原创 2021-03-04 10:49:25 · 436 阅读 · 0 评论 -
聊聊 SpringCloud 负载均衡
SpringCloud 的负载均衡的实现就是Ribbon组件。简言之,Ribbon 有自己的负载均衡算法(轮询、随机),同时也支持用户自定义负载均衡规则(需要了解Ribbon相关的API)。除此之外,Ribbon还可以单独于服务发现组件而使用。面试中有问到“SpringCloud是如何做到负载均衡的”,我只想起了Ribbon的@LoadBlanced注解,很尴尬连轮询和随机都没想起来(因为确实工作中没操作过啊,印象不深啊)。我想说的是,Ribbon负载均衡围绕它自己,还是有很多东西可以说的。下面按有原创 2021-03-02 13:39:06 · 129 阅读 · 0 评论 -
Redis之分布式
前面介绍了一些Redis单点方面的知识,现在来介绍一下Redis分布式方面的知识点。写本笔记是因为在看书学习的过程中联想起一个被面试问过的问题没答上来,太惭愧了。redis的分布式算是基础知识,必须掌握哦。那天没答上来的感觉就像上学时我们对基础知识点都不了解,只是靠别人说过就假装我们自己懂了,然后就玩现了,面试的分也低了。好了,下面开始做笔记。1. 引子:面试中被问过的题目假如说分布式下redis有多个实例,那么多个请求打过来,问:怎么做让请求均匀的打在这些实例上?我的思路:一遇到这种多实例原创 2021-01-20 22:56:41 · 168 阅读 · 0 评论 -
分布式一致性问题
分布式一致性问题是建立在分布式CAP理论的基础上的说法。CAP理论不再赘述。分布式一致性算法通常是面试高级的比问问题。举例:zookeeper属于CAP中的哪两项?paxos算法也是面试的高频问题。所以理解分布式一致性算法不可避免。1、为什么会产生一致性问题?2、怎么解决分布式一致性问题?常见分布式一致性算法:2p,3p,paxos,zab算法,如下:...原创 2021-01-14 17:04:36 · 133 阅读 · 0 评论 -
分布式理论--脑裂问题
以下一段话摘自《深入分布式缓存从原理到实践》: 主备是实现高可用的有效方式,但存在脑裂问题。脑裂(split-brain),指在一个高可用的系统中,当联系着的两个节点断开联系时,本来为一个整体的系统,分裂为两个独立节点,这时两个节点开始争抢共享资源,结果会导致系统混乱,数据损坏。...原创 2020-12-03 17:01:44 · 562 阅读 · 0 评论 -
Elasticsearch 7 插件
1. elasticsearch-head可视化插件,通过浏览器就能看到es的集群部署、节点、索引等信息。注意:es在5.x版本就不再支持head插件安装了。百度搜索可以有多种方式安装,我这里用的是谷歌浏览器安装es-head的扩展程序,如图:shell 启动es后,在浏览器输入localhost:9200/_cat/ 检查是否启动成功,如下图:该图表示es已经成功启动...原创 2019-07-31 10:37:36 · 2355 阅读 · 0 评论 -
分布式 - 各种机制了解下
1. 重试机制 retry案例:httpClient在阅读《深入分布式缓存:从原理到实践》2.2章节 2.2.7 系统重发与幂等性,以httpClient为例说明重试机制,为了减少失败次数,内部设计重试次数为3次,次数在一个私有变量中保存。具体场景没有遇到。积累下来。2.确认机制案例:RabbitMQ 消息中间件这个被放到容错方案设计中了,这个还是比较实用也比较常见的。简单...原创 2019-08-06 14:30:40 · 201 阅读 · 0 评论 -
VMware Fusion + Centos7 + Zookeeper
模拟接近真实的分布式环境。环境:VMware Fusion(是针对mac os的虚拟机,官网有自行下载),安装好VMware后,在此基础上安装Centos7,然后克隆多个Centos7虚拟机。遇到的问题:1. 虚拟机中鼠标切入切出问题(忽略,重启一下就好了)2. 企图在centos7中下载jdk,失败。因为centos7创建好后并没有设置网络配置,对外网的访问是跟本地一样的。什...原创 2019-08-14 17:11:34 · 180 阅读 · 0 评论 -
zookeeper 入门(一)单机zk
topic 1 - 单机zk搭建,连接zk服务创建节点。(以下简称zookeeper 为zk)我的操作环境:mac os,jdk8,zookeeper-3.4.121. 下载zk到本地,解压 tar -zxvf zookeeper-3.4.12.tar.gz。2. 启动zookeeper$ cd zookeeper/conf$cp zoo_sample.cfg zoo.cf...原创 2019-08-23 23:55:26 · 506 阅读 · 0 评论 -
消息中间件 - 筑基
1.what?消息中间件就是一类软件,常见的有RabbitMq、RocketMq等。2.作用?解偶、异步、削峰限流。解偶:应用之间不必等待消息的传递,彼此之间不依赖。削峰限流:常用案例 - 秒杀,12306购票系统、双十一等高并发量场景。...原创 2019-08-11 20:35:53 · 113 阅读 · 0 评论 -
zookeeper 搭建集群
待完善。。。原创 2019-10-09 17:31:36 · 99 阅读 · 0 评论 -
消息中间件 - kafka入门
1. 简单介绍 - 为什么要学kafka?不论大厂还是小公司,都在逐步向分布式架构靠拢,各种分布式技术吹的也是漫天飞。不少同学去面试,都离不开消息中间件。但是呢,面试问到消息中间件,又都会问到kafka,所以很有必要学一下kafka。2. kafka到底是个啥?kafka 表面上是一个消息中间件,实际上功能很多,还可以作为存储来使用。因为kafka本身就是基于磁盘设计的,所以它在存储上...原创 2019-10-10 13:47:12 · 288 阅读 · 0 评论 -
Elasticsearch 7.2.0 官方文档学习
官网 下载地址 https://www.elastic.co/cn/downloads/elasticsearch 尝试安装:选择适合你的版本下载(我的是mac os版),解压,然后 cd到elasticsearch-7.2.0目录下,启动并运行一个单机纯elasticsearch实例:执行 shell命令 bin/elasticsearch。 验证是否启动成功:打开另一个shell命令窗...原创 2019-07-25 10:52:23 · 7494 阅读 · 0 评论