先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注Java)
正文
private long TIME_OUT = 1000;
// Redis命令参数,相当于nx和px的命令合集
private SetParams params = SetParams.setParams().nx().px(EXPIRE_TIME);
// Redis连接池,连的是本地的Redis客户端
JedisPool jedisPool = new JedisPool(“127.0.0.1”, 6379);
/**
* 加锁
* @param id
* 线程的id,或者其他可识别当前线程且不重复的字段
* @return
*/
public boolean lock(String id) {
Long start = System.currentTimeMillis();
Jedis jedis = jedisPool.getResource();
try {
for (;😉 {
// SET命令返回OK ,则证明获取锁成功
String lock = jedis.set(LOCK_KEY, id, params);
if (“OK”.equals(lock)) {
return true;
}
// 否则循环等待,在TIME_OUT时间内仍未获取到锁,则获取失败
long l = System.currentTimeMillis() - start;
if (l >= TIME_OUT) {
return false;
}
try {
// 休眠一会,不然反复执行循环会一直失败
Thread.sleep(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
} finally {
jedis.close();
}
}
/**
* 解锁
* @param id
* 线程的id,或者其他可识别当前线程且不重复的字段
* @return
*/
public boolean unlock(String id) {
Jedis jedis = jedisPool.getResource();
// 删除key的lua脚本
String script = “if Redis.call(‘get’,KEYS[1]) == ARGV[1] then” + " return Redis.call(‘del’,KEYS[1]) " + “else”
+ " return 0 " + “end”;
try {
String result =
jedis.eval(script, Collections.singletonList(LOCK_KEY), Collections.singletonList(id)).toString();
return “1”.equals(result);
} finally {
jedis.close();
}
}
}
具体的代码作用注释已经写得很清楚了,然后我们就可以写一个 demo 类来测试一下效果:
public class RedisLockTest {
private static RedisLockUtil demo = new RedisLockUtil();
private static Integer NUM = 101;
public static void main(String[] args) {
for (int i = 0; i < 100; i++) {
new Thread(() -> {
String id = Thread.currentThread().getId() + “”;
boolean isLock = demo.lock(id);
try {
// 拿到锁的话,就对共享参数减一
if (isLock) {
NUM–;
System.out.println(NUM);
}
} finally {
// 释放锁一定要注意放在finally
demo.unlock(id);
}
}).start();
}
}
}
我们创建 100 个线程来模拟并发的情况,执行后的结果是这样的:
可以看出,锁的效果达到了,线程安全是可以保证的。
当然,上面的代码只是简单的实现了效果,功能肯定是不完整的,一个健全的分布式锁要考虑的方面还有很多,实际设计起来不是那么容易的。
我们的目的只是为了学习和了解原理,手写一个工业级的分布式锁工具不现实,也没必要,类似的开源工具一大堆(Redisson),原理都差不多,而且早已经过业界同行的检验,直接拿来用就行。
虽然功能是实现了,但其实从设计上来说,这样的分布式锁存在着很大的缺陷,这也是本篇文章想重点探讨的内容,那到底存在哪些缺陷呢?
分布式锁的缺陷
=======
客户端长时间阻塞导致锁失效问题
===============
客户端 1 得到了锁,因为网络问题或者 GC 等原因导致长时间阻塞,然后业务程序还没执行完锁就过期了,这时候客户端 2 也能正常拿到锁,可能会导致线程安全的问题。
那么该如何防止这样的异常呢?我们先不说解决方案,介绍完其他的缺陷后再来讨论。
Redis 服务器时钟漂移问题
===============
如果 Redis 服务器的机器时钟发生了向前跳跃,就会导致这个 key 过早超时失效,比如说客户端 1 拿到锁后,key 的过期时间是 12:02 分,但 Redis 服务器本身的时钟比客户端快了 2 分钟,导致 key 在 12:00 的时候就失效了,这时候,如果客户端 1 还没有释放锁的话,就可能导致多个客户端同时持有同一把锁的问题。
单点实例安全问题
========
如果 Redis 是单 master 模式的,当这台机宕机的时候,那么所有的客户端都获取不到锁了,为了提高可用性,可能就会给这个 master 加一个 slave,但是因为 Redis 的主从同步是异步进行的,可能会出现客户端 1 设置完锁后,master 挂掉,slave 提升为 master,因为异步复制的特性,客户端 1 设置的锁丢失了,这时候客户端 2 设置锁也能够成功,导致客户端 1 和客户端 2 同时拥有锁。
为了解决 Redis 单点问题,Redis 的作者提出了RedLock算法。
RedLock 算法
==========
该算法的实现前提在于 Redis 必须是多节点部署的,可以有效防止单点故障,具体的实现思路是这样的:
-
获取当前时间戳(ms);
-
先设定 key 的有效时长(TTL),超出这个时间就会自动释放,然后 client(客户端)尝试使用相同的 key 和 value 对所有 Redis 实例进行设置,每次链接 Redis 实例时设置一个比 TTL 短很多的超时时间,这是为了不要过长时间等待已经关闭的 Redis 服务。并且试着获取下一个 Redis 实例。比如:TTL(也就是过期时间)为 5s,那获取锁的超时时间就可以设置成 50ms,所以如果 50ms 内无法获取锁,就放弃获取这个锁,从而尝试获取下个锁;
-
client 通过获取所有能获取的锁后的时间减去第一步的时间,还有 Redis 服务器的时钟漂移误差,然后这个时间差要小于 TTL 时间并且成功设置锁的实例数>= N/2 + 1(N 为 Redis 实例的数量),那么加锁成功。比如 TTL 是 5s,连接 Redis 获取所有锁用了 2s,然后再减去时钟漂移(假设误差是 1s 左右),那么锁的真正有效时长就只有 2s 了;
-
如果客户端由于某些原因获取锁失败,便会开始解锁所有 Redis 实例。
根据这样的算法,我们假设有 5 个 Redis 实例的话,那么 client 只要获取其中 3 台以上的锁就算是成功了,用流程图演示大概就像这样:
好了,算法也介绍完了,从设计上看,毫无疑问,RedLock 算法的思想主要是为了有效防止 Redis 单点故障的问题,而且在设计 TTL 的时候也考虑到了服务器时钟漂移的误差,让分布式锁的安全性提高了不少。
但事实真的是这样吗?反正我个人的话感觉效果一般般,
首先第一点,我们可以看到,在 RedLock 算法中,锁的有效时间会减去连接 Redis 实例的时长,如果这个过程因为网络问题导致耗时太长的话,那么最终留给锁的有效时长就会大大减少,客户端访问共享资源的时间很短,很可能程序处理的过程中锁就到期了。而且,锁的有效时间还需要减去服务器的时钟漂移,但是应该减多少合适呢,要是这个值设置不好,很容易出现问题。
然后第二点,这样的算法虽然考虑到用多节点来防止 Redis 单点故障的问题,但但如果有节点发生崩溃重启的话,还是有可能出现多个客户端同时获取锁的情况。
假设一共有 5 个 Redis 节点:A、B、C、D、E,客户端 1 和 2 分别加锁
-
客户端 1 成功锁住了 A,B,C,获取锁成功(但 D 和 E 没有锁住)。
-
节点 C 的 master 挂了,然后锁还没同步到 slave,slave 升级为 master 后丢失了客户端 1 加的锁。
-
客户端 2 这个时候获取锁,锁住了 C,D,E,获取锁成功。
这样,客户端 1 和客户端 2 就同时拿到了锁,程序安全的隐患依然存在。除此之外,如果这些节点里面某个节点发生了时间漂移的话,也有可能导致锁的安全问题。
所以说,虽然通过多实例的部署提高了可用性和可靠性,但 RedLock 并没有完全解决 Redis 单点故障存在的隐患,也没有解决时钟漂移、客户端长时间阻塞而导致的锁超时失效问题。
从这一点上看,RedLock 算法也并没有保证锁的安全性。
结论
==
最后
各位读者,由于本篇幅度过长,为了避免影响阅读体验,下面我就大概概括了整理了
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
img-1hl1JnBk-1713362232141)]
[外链图片转存中…(img-Dr4lJ8fK-1713362232142)]
[外链图片转存中…(img-tdilUIwv-1713362232142)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-ozJ7Hxtt-1713362232142)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!