分布式系统
文章平均质量分 74
小魏的博客
给自己的歌
展开
-
总结:Flink之DataStream各API介绍
本文主要是详细介绍类中的各个方法,并给出它们的使用场景。原创 2024-10-10 12:09:59 · 916 阅读 · 0 评论 -
总结:nginx配置
问题来了,那么,使用rewrite后,假设我的配置是location / { rewrite ^/abc/(.*)$ /xyz/$1 break;},那么我在浏览器输入http://10.10.1.2/abc/mm,访问后,浏览器地址是否会变成http://10.10.1.2/xyz/mm?},那么我在浏览器输入http://10.10.1.2/abc/mm,访问后,浏览器地址是否会变成http://10.10.1.2/xyz/mm?然后,Nginx 会在本地查找这个新的 URL 对应的资源。原创 2023-09-22 11:08:47 · 1816 阅读 · 0 评论 -
总结:Git 撤销操作
git撤销相关原创 2023-08-24 15:26:44 · 1054 阅读 · 0 评论 -
总结:Loki
Loki 将日志转换为 stream 的原理是使用 label(标签)来识别和聚合相同的日志数据。当日志数据被收集和推送到 Loki 时,Loki 提取其中的 label 信息,并使用 label 来创建 stream。一个 stream 是一组具有相同标签集的日志条目。原创 2023-08-10 14:25:24 · 509 阅读 · 0 评论 -
总结:WEB流量劫持
劫持原创 2023-07-14 12:00:25 · 1483 阅读 · 0 评论 -
总结:WEB服务鉴权
web验证与鉴权原创 2023-07-14 10:07:01 · 711 阅读 · 0 评论 -
总结:高并发系统设计需要考虑的点
总结:高并发系统设计需要考虑的点原创 2023-01-30 10:32:09 · 1146 阅读 · 0 评论 -
总结:优秀设计技巧整理
1、查询接口设计入参:以tag的方式,如propertyKey,propertyValue解释:propertyKey即查询的条件字段是什么?sn?uuid?ip? propertyValue即条件值,如果是uuid的话,条件值是xxxx-xxxx-xxxx-xxxx后端sql:where 1 = 1 andpropertyKey =propertyValue2、Raft协议随机超时机制raft协议中选举leader,为了让leader快速选出,采用随机超时机制。 在每个F..原创 2022-04-04 11:06:01 · 380 阅读 · 0 评论 -
总结:Raft协议
一、Raft协议是什么?分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。Raft论文《In Search of an Understandable Consensus Algorithm》发表于2013 年,由于发表较晚,因此很多分布式系统都没有采用,比如kafka二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收到日志后,应答收到日志。 当半数以上的Followers应答后原创 2022-04-04 11:04:21 · 720 阅读 · 0 评论 -
总结:分布式锁
一、为什么要使用分布式锁分布式环境下修改某个共有的数据,比如redis的共有数据;在同一时间,可能多个节点都先查询这个数据,然后更新。在查询的时候,结果是一样的,但是各个节点更新的时候,就是以最后一个更新为准了,这样就会导致其它节点的更新其实是失败的;案例:告警设置max_step的功能就是分布式更新导致通知多次;解决以上问题最彻底的办法(不一定是最好)是使用分布式锁,这样可以保证数据的一致性。但是分布式锁很多会带来性能的下降,所以不一定是最好的方式。二、分布式锁的三种实现方式1、基原创 2022-04-04 10:50:23 · 611 阅读 · 0 评论 -
总结:ZooKeeper
zk的主要应用场景有:服务注册中心、分布式锁、master选举、分布式事务一致性等。一、架构如下为Zookeeper的整体架构,leader通过zab协议选举产生。各个server之间通过zab协议(原子广播协议)进行数据同步。要搭建一个高可用的Zookeeper集群,需要确定好集群规模。一般将节点(指leader及follower节点,不包括observer节点)个数设置为 2*n+1 ,n为可容忍宕机的个数。二、ZooKeeper数据模型从图中我们可以看出ZooK原创 2022-03-28 16:02:31 · 1199 阅读 · 0 评论 -
总结:几个分布式系统架构设计原理
一、分布式一致性协议参考链接:https://www.jianshu.com/p/71b2729d3004两类一致性(操作原子性与副本一致性) 2PC,3PC协议:强调事务,用于保证属于多个数据分片上的操作的原子性。这些数据分片可能分布在不同的服务器上,2PC协议保证多台服务器上的操作要么全部成功,要么全部失败。 Paxos,Raft协议:强调同一条数据的复制,用于保证同一个数据分片的多个副本之间的数据一致性。当这些副本分布到不同的数据中心时,这个需求尤其强烈。 下面讲的是多个副原创 2022-01-13 17:28:58 · 1706 阅读 · 0 评论