- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hadoop HA架构思想总结
NN节点，即NameNode节点，负责hadoop文件的元数据规划、存储和接收DN节点关于实际文件数据存储信息的汇报DN节点,即数据节点，负责具体文件数据的存储，存储文件块数据，hadoop中，文件是按指定块大小切割后，按块存储在DN节点中SNN节点，即SecondaryNameNode节点，在单NN节点部署模式下负责拉取NN节点上的fsimage和editlog,并合并生产新的fsimage，并推送到NN节点NN集群部署方式要使得Hadoop高可用，必须解决NN单点问题及存储压力问题。..........
2022-07-25 18:56:51
718
1
原创 缓存数据和数据库一致性实现策略
当涉及缓存中的数据更新的时候，可以有多种更新策略：1. 先更新数据库，再更新缓存2. 先更新缓存，再更新数据库3. 先更新数据库，再删除缓存（优选）4. 先删除缓存，再更新数据库1.数据库单节点场景数据库是单节点部署的情况下，选择：先更新数据库，再删除缓存，虽然改策略也有瑕疵，但是概率极小。当然若是反生删除失败，也以采取将删除操作放入消息队列中，通过消费消息来删除redis数据，直到删除成功为止，再加上队列的监控，监控删不掉的情况。2.主从模式场景由于主从模式，存在数据复制延迟的情况，假如更新数据库（主库）
2022-07-06 13:04:18
162
原创 java中如何正确创建一个单例类实例
单例模式是指，在整个jvm生命周期中，让一个类只有一个实例存在，类只实例化一次。所有的代码共享这一个实例。利用jvm在加载类时，线程安全的，保证类加载完毕，实例创建完毕，只创建一次...
2022-06-28 12:31:44
767
原创 如何正确使用ThreadLocal
ThreadLocal是jdk版本引入的类：java.lang.ThreadLocal,使得每个线程可以独享变量副本，起到线程安全的作用。线程局部性的，ThreadLocal变量能在所属线程执行的各个方法中共享但是不需要在执行方法链中显示传递参数，也就是线程局部的执行方法链的全局变量。首先说下，ThreadLocal、Thread、ThreadLocalMap、ThreadLocalMap.Entry、WeakReference这几个类之间的关系，这关系着ThreadLocal在jdk源代码层面的实现。同
2022-06-28 11:32:14
971
原创 JAVA中HashMap常见面试点及实现原理
HashMap底层是用数组+链表的数据结构实现的，产生hash碰撞的少，也就是产生链表少和链表中元素少，则查询效率高，达到O（1）复杂度。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + Shift + H无序列表：Ctrl
2022-06-26 10:40:58
45
原创 redis缓存穿透、击穿、雪崩问题
redis缓存穿透是指，有个数据本来在库中没有，但是用户一直请求这个数据，通常指恶意用户，比如查询某个用户的数据，但是用户正常id大于0，恶意用户给id负值，然后请求数据，不断的发该请求，对db造成很大压力。redis缓存击穿是指，某个热点key,在缓存时效后，用户请求都打到db上，造成瞬时数据库压力过大，对系统造成性能造成压力。redis缓存雪崩是指，大量热点key，在同一时间时效，造成大量请求达到db上，对db造成过大压力，导致数据库崩溃及系统不可用。......
2022-06-25 13:15:43
135
原创 一致性hash算法原理
hash算法，就是将一个数据，通过某种hash算法，比如md5，将其转换成一个新值。在密码学里也叫hash摘要，摘要算法。或者叫hash散列。在程序开发设计中，通常是将某一类数据，找出数据的特征值，比如ID,进行hash，然后通过hash和原值绑定映射起来，便于候选的筛选和比较。在分布式存储里，通常可以将数据进行hash算法，映射到不同存储节点里，比如数据库分库，或者其他数据的分片存储。这里以电商系统订单数据分库存储为例，比如某宝订单数据非常多，特别是双十一等大促活动，订单数据不分片肯定支持不了那么大高并发
2022-06-25 12:21:31
267
原创 Raft算法
Raft共识性算法是paxos算法的简化版，多用在分布式环境中，集群成员通过投票对某事项决议，多数票通过，则共识达成。集群leader的选举，如kafka分区leader partion的选举。Parxos本身也是通过投票，多数票通过，则共识达成。但是Raft比Paxos投票过程做了一定的简化，并考虑具体的业务场景本身特点，并利用业务场景特点，快速达成共识。.........
2022-06-25 11:29:40
333
原创 unix信号函数
unix信号函数sleep()函数实现原理sigsuspend()、sigaction()sleep()函数实现原理sigsuspend()、sigaction()
2021-03-11 17:36:12
68
pgmodeler win64 自编译支持postgres11
2019-11-27
数字电路基础教程.pdf
2018-02-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人