![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 56
titi223
IT老兵
展开
-
hadoop HA架构思想总结
NN节点,即NameNode节点,负责hadoop文件的元数据规划、存储和接收DN节点关于实际文件数据存储信息的汇报DN节点,即数据节点,负责具体文件数据的存储,存储文件块数据,hadoop中,文件是按指定块大小切割后,按块存储在DN节点中SNN节点,即SecondaryNameNode节点,在单NN节点部署模式下负责拉取NN节点上的fsimage和editlog,并合并生产新的fsimage,并推送到NN节点NN集群部署方式要使得Hadoop高可用,必须解决NN单点问题及存储压力问题。..........原创 2022-07-25 18:56:51 · 718 阅读 · 1 评论 -
分布式事务之TX-LCN框架
分布式事务实现框架之TX-LCN原创 2022-06-30 17:04:11 · 172 阅读 · 0 评论 -
redis缓存穿透、击穿、雪崩问题
redis缓存穿透是指,有个数据本来在库中没有,但是用户一直请求这个数据,通常指恶意用户,比如查询某个用户的数据,但是用户正常id大于0,恶意用户给id负值,然后请求数据,不断的发该请求,对db造成很大压力。redis缓存击穿是指,某个热点key,在缓存时效后,用户请求都打到db上,造成瞬时数据库压力过大,对系统造成性能造成压力。redis缓存雪崩是指,大量热点key,在同一时间时效,造成大量请求达到db上,对db造成过大压力,导致数据库崩溃及系统不可用。......原创 2022-06-25 13:15:43 · 135 阅读 · 0 评论 -
一致性hash算法原理
hash算法,就是将一个数据,通过某种hash算法,比如md5,将其转换成一个新值。在密码学里也叫hash摘要,摘要算法。或者叫hash散列。在程序开发设计中,通常是将某一类数据,找出数据的特征值,比如ID,进行hash,然后通过hash和原值绑定映射起来,便于候选的筛选和比较。在分布式存储里,通常可以将数据进行hash算法,映射到不同存储节点里,比如数据库分库,或者其他数据的分片存储。这里以电商系统订单数据分库存储为例,比如某宝订单数据非常多,特别是双十一等大促活动,订单数据不分片肯定支持不了那么大高并发原创 2022-06-25 12:21:31 · 266 阅读 · 0 评论 -
Raft算法
Raft共识性算法是paxos算法的简化版,多用在分布式环境中,集群成员通过投票对某事项决议,多数票通过,则共识达成。集群leader的选举,如kafka分区leader partion的选举。Parxos本身也是通过投票,多数票通过,则共识达成。但是Raft比Paxos投票过程做了一定的简化,并考虑具体的业务场景本身特点,并利用业务场景特点,快速达成共识。.........原创 2022-06-25 11:29:40 · 333 阅读 · 0 评论