1、SnowFlake算法
SnowFlake算法用于生成分布式Id使用的一种算法,此算法生成的是一个64bit的数,结构图如下:
-
1位,不使用,是二进制中的符号位,一般生成的全局ID都是整数,所以第一位固定为0;
-
接下来的41位是时间戳,用来记录毫秒级的时间
- 41位可以表示Math.pow(2,41)-1
个数字,如果只用来表示正整数,可以表示的范围是0-Math.pow(2,41)-1
,也就是说41位可以表示2^{41}-1个毫秒的值,转化成单位年则是(Math.pow(2,41)-1)/(1000*60*60*24*365)=69年
-
接下来的10bit位工作极其ID,用来记录工作机器的ID,可以部署在1024个节点上,包括5位datacenterId和5位workerId,可以用0、1、2、3、…31这32个数字,来表示不同的datecenterId或workerId
-
12位,序列号,用来记录同毫秒内产生的不同的id,12bit可以表示的最大正整数是
Math.pow(2,12)-1 = 4095
,即可以用0、1、2、3、…4094这4095个数字,来表示同一机器同一时间截(毫秒)内产生的4095个ID序号。
注意: 由于在Java中64bit的整数是long类型,所以在Java中SnowFlake算法生成的id就是long来存储的。
SnowFlake可以保证整个分布式中内不会产生重复的id,因为有datacenterId和workerId来做区分;并且所有生成的id按时间趋势递增。
缺点在于当出现时间回拨的时候可能出现问题。
实现如下:
public class SnowFlakeIdWorker {
// ==============================Fields===========================================
/** 开始时间截 (2015-01-01) */
private final long twepoch = 1420041600000L;
/** 机器id所占的位数 */
private final long workerIdBits = 5L;
/** 数据标识id所占的位数 */
private final long datacenterIdBits = 5L;
/** 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */
private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
/** 支持的最大数据标识id,结果是31 */
private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
/** 序列在id中占的位数 */
private final long sequenceBits = 12L;
/** 机器ID向左移12位 */
private final long workerIdShift = sequenceBits;
/** 数据标识id向左移17位(12+5) */
private final long datacenterIdShift = sequenceBits + workerIdBits;
/** 时间截向左移22位(5+5+12) */
private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
/** 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095) */
private final long sequenceMask = -1L ^ (-1L << sequenceBits);
/** 工作机器ID(0~31) */
private long workerId;
/** 数据中心ID(0~31) */
private long datacenterId;
/** 毫秒内序列(0~4095) */
private long sequence = 0L;
/** 上次生成ID的时间截 */
private long lastTimestamp = -1L;
//==============================Constructors=====================================
/**
* 构造函数
* @param workerId 工作ID (0~31)
* @param datacenterId 数据中心ID (0~31)
*/
public SnowFlakeIdWorker(long workerId, long datacenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
}
this.workerId = workerId;
this.datacenterId = datacenterId;
}
// ==============================Methods==========================================
/**
* 获得下一个ID (该方法是线程安全的)
* @return SnowflakeId
*/
public synchronized long nextId() {
long timestamp = timeGen();
//如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常
if (timestamp < lastTimestamp) {
throw new RuntimeException(
String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
//如果是同一时间生成的,则进行毫秒内序列
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
//毫秒内序列溢出
if (sequence == 0) {
//阻塞到下一个毫秒,获得新的时间戳
timestamp = tilNextMillis(lastTimestamp);
}
}
//时间戳改变,毫秒内序列重置
else {
sequence = 0L;
}
//上次生成ID的时间截
lastTimestamp = timestamp;
//移位并通过或运算拼到一起组成64位的ID
return ((timestamp - twepoch) << timestampLeftShift) //
| (datacenterId << datacenterIdShift) //
| (workerId << workerIdShift) //
| sequence;
}
/**
* 阻塞到下一个毫秒,直到获得新的时间戳
* @param lastTimestamp 上次生成ID的时间截
* @return 当前时间戳
*/
protected long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
/**
* 返回以毫秒为单位的当前时间
* @return 当前时间(毫秒)
*/
protected long timeGen() {
return System.currentTimeMillis();
}
public static void main(String[] args) {
SnowFlakeIdWorker idWorker = new SnowFlakeIdWorker(0, 0);
for (int i = 0; i < 1000; i++) {
long id = idWorker.nextId();
System.out.println(Long.toBinaryString(id));
System.out.println(id); 1001 1010 0010 0011 0110 1101 0111 1111 1100 1000 0000 0000 0000 0000 0000
}
}
}
2、分布式锁
①、在某种意义上来说分布式锁和Java中的其他锁相同,其目的就是在并发时在某一特定时刻只有一个线程执行任务。
在一个进程或者应用程序中,Java为我们提供了juc包下的一些类和常见的锁机制就能实现,但在面对集群时就不适合了。对于应用程序为什么集群简单理解为:如果只采用一个服务器,则所有的请求都会走这个服务器,在亿万级访问时可能会崩,但是如果采用集群方式,平衡好负载均衡就,就会减少某个服务器的压力。拿支付宝瓜分红包举例说明分布式锁,假如一千万人同时抢红包,请求被分散到支付宝的各个服务器,各个服务器都会请求负责红包的服务,此时因为不同的请求来自不同的服务器,所以要控制原子性操作以正确操作红包及余额,所以可以在管理红包服务的地方加上分布式锁。
在设计分布式锁的时候必须考虑下面几种情况:
- 互斥,在分布式高并发的情况下必须保证同一时刻只能有一个线程获得锁;
- 防止死锁,在分布式高并发的情况下如果有下称获得锁的时候还没等来得及释放锁就因为故障造成死锁,而导致其他线程无法获得锁,所以要设置号锁的过期时间,确保系统出现故障后能够主动释放锁;
- 性能,对访问量大的共享资源,要考虑减少锁的等待时间,避免造成大量阻塞。一般考虑两点:
- 锁的颗粒度要尽量小。比如你要通过锁来减库存,那这个锁的名称你可以设置成是商品的ID,而不是任取名称。这样这个锁只对当前商品有效,锁的颗粒度小。
- 锁的范围尽量要小。比如只要锁2行代码就可以解决问题的,那就不要去锁10行代码了。
- 可重入,重入锁非常有利于资源的高效利用。
②、单节点Redis实现分布式锁
- 加锁,其实就是在redis中给key设置一个值,加上过期时间,如
SET lock_key random_value NX PX 5000
random_value :是客户端生成的唯一的字符串。
NX :代表只在键不存在时,才对键进行设置操作。
PX :5000 设置键的过期时间为5000毫秒 - 解锁时就是将key键删除,但是注意解铃还须系铃人,只能删除自己的键,而不能删除别人的。
基于单节点的redis实现分布式锁方式一如下,采用了JedisPool:
public class RedisDistributedLockService {
private static Logger logger = LoggerFactory.getLogger(RedisDistributedLockService.class);
private String lock_key = "redis_lock"; //锁键
protected long internalLockLeaseTime = 30000;//锁过期时间
private long timeout = 999999; //获取锁的超时时间
//SET命令的参数
SetParams params = SetParams.setParams().nx().px(internalLockLeaseTime);
@Autowired
private JedisPool jedisPool;
/**
* 加锁
* @param id
* @return
*/
public boolean lock(String id){
Jedis jedis = jedisPool.getResource();
Long start = System.currentTimeMillis();
try{
for(;;){
//SET命令返回OK ,则证明获取锁成功
String lock = jedis.set(lock_key, id, params);
if("OK".equals(lock)){
return true;
}
//否则循环等待,在timeout时间内仍未获取到锁,则获取失败
long l = System.currentTimeMillis() - start;
if (l >= timeout) {
return false;
}
try {
Thread.sleep(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}finally {
jedis.close();
}
}
public boolean unlock(String id){
Jedis jedis = jedisPool.getResource();
String script =
"if redis.call('get',KEYS[1]) == ARGV[1] then" +
" return redis.call('del',KEYS[1]) " +
"else" +
" return 0 " +
"end";
try {
Object result = jedis.eval(script, Collections.singletonList(lock_key),
Collections.singletonList(id));
if("1".equals(result.toString())){
return true;
}
return false;
}finally {
jedis.close();
}
}
}
测试:
@Test
public void testDistributedLock() throws InterruptedException {
int clientcount =10;
CountDownLatch countDownLatch = new CountDownLatch(clientcount);
ExecutorService executorService = Executors.newFixedThreadPool(clientcount);
long start = System.currentTimeMillis();
for (int i = 0;i < clientcount;i++){
executorService.execute(() -> {
//通过Snowflake算法获取唯一的ID字符串
String id = String.valueOf(new SnowFlakeIdWorker(0,0).nextId());
try {
redisDistributedLockService.lock(id);
count++;
}finally {
redisDistributedLockService.unlock(id);
}
countDownLatch.countDown();
});
}
countDownLatch.await();
long end = System.currentTimeMillis();
logger.info("执行线程数:{},总耗时:{},count数为:{}",clientcount,end-start,count);
}
单节点最突出的缺点就是锁不具备可重入性
方式二:基于redisson
引入redisson的maven依赖,配置如下:
@Configuration
public class RedissonConfiguration {
@Bean
public RedissonClient getClient(){
Config config = new Config();
config.useSingleServer().setAddress("redis://127.0.0.1:6379");
RedissonClient client = Redisson.create(config);
return client;
}
}
具体操作如下:
@Test
public void testRedisDistrbutedLock2(){
RLock lock = redissonClient.getLock("lock1");
try{
// 1. 最常见的使用方法
//lock.lock();
// 2. 支持过期解锁功能,10秒钟以后自动解锁, 无需调用unlock方法手动解锁
//lock.lock(10, TimeUnit.SECONDS);
// 3. 尝试加锁,最多等待2秒,上锁以后8秒自动解锁
boolean res = lock.tryLock(2, 8, TimeUnit.SECONDS);
if(res){ //成功
//处理业务
System.out.println("success");
}
} catch (InterruptedException e) {
e.printStackTrace();
} finally{
lock.unlock();
}
}
关于redis单节点实现分布式锁推荐阅读:
分布式锁之Redis实现
Redisson实现分布式锁