搭建分布式系统,不可避免的要用到分布式锁来控制大量并发的情况!java+springMVC模式下,redis提供了redisTemplate.opsForValue().setIfAbsent(key, value)方法,就可以满足锁的要求。先编写如下代码(当然也参照了网上的实例结合自己公司项目情况):
编写测试类,测试一下单线程的处理请求
1.测试单个线程
public class JavaSETest {
public static void main(String[] args) {
new Thread(new MyThread()).start();
// ExecutorService executorService= Executors.newFixedThreadPool(20);
// executorService.submit(new JavaSETest());
}
}
public class MyThread implements Runnable {
public MyThread(){
}
@Override
public void run() {
for (int i = 0; i < 20; i++) {
System.out.println("Thread的"+Thread.currentThread().getId()+"数值"+i);
}
}
}
看测试结果,没啥毛病
2. 继续测试看看3个线程同时运行
public class JavaSETest {
public static void main(String[] args) {
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
// ExecutorService executorService= Executors.newFixedThreadPool(20);
// executorService.submit(new JavaSETest());
}
}
说明当多线程同时运行的时候会出现相同的数值,造成读脏数据。如果在run方法前面加上synchronized关键字,可以解决并发问题,但是由于锁的力度比较大,运行的时候,可以明显看出来,时间有所延长,并且在分布式模式下,多个应用服务器的jvm并不相同,所以此种方案适合单例模式,并不适合分布式,所以采用redis的分布式锁
测试3 ,redis分布式锁
分布式往往跟随着消息队列,模式redis队列,业务处理的方式为,首先大量的请求过来,往redis的队列里面放入请求,当队列里面有请求的时候,再进行业务处理。类似与生产者以及消费者的模式,当然,实际业务处理情况远比模拟复杂,而且还要给每一个过来的请求给予反馈。
具体代码如下,模拟10个请求一起处理业务,先请求过来,再一起执行任务,看看情况怎么样
public String Test(){
int param = paramInt("param");
for(int i=1;i<=param;i++){
RedisCacheUtil.lSet("redisListLock", "模拟任务"+i);
}
logger.info("队列长度"+RedisCacheUtil.lGetListSize("redisListLock"));
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
new Thread(new MyThread()).start();
return null;
}
由于日志量比较大,截取一部分如下
从上面可以看出,并没有出现同一个任务,两个线程同时处理的情况!所以此种方法可行。
这样,再模拟一种情况,一边发送请求,一边处理业务,看看实际的情况又如何呢
每隔1s发送100次请求,稍微修改一下代码
int paramStart = paramInt("paramStart");
int paramEed = paramInt("paramEed");
for(int i=paramStart;i<=paramEed;i++){
RedisCacheUtil.lSet("redisListLock", "模拟任务"+i);
}
logger.info("队列长度"+RedisCacheUtil.lGetListSize("redisListLock"));
每隔1s请求如下,看看具体情况
http://localhost:8094/toDownload.html?paramStart=1¶mEed=100
http://localhost:8094/toDownload.html?paramStart=500¶mEed=600
http://localhost:8094/toDownload.html?paramStart=900¶mEed=1000
可以看的出来,是因为采用的redis的list模式,先进先出,所以不管程序如何并发,在系统中还是会排队。所以此种方式解决大量请求的方案可以。
因为受限于本台机器的内存以及环境影响,不再测试上百万条数据,所以无法获得数十万请求同时过来的场景。