重复提交解决方案
重复提交是一个常见的问题,涉及到接口的幂等性。
幂等 f(f(x)) = f(x)
编程中常见的幂等和非幂等(What)
幂等
select、delete、update某个字段
非幂等
update更新累加操作 、 insert非幂等操作
产生原因(Why)
由于重复提交或网络重发
- 按钮提交点击两次
- 点击了刷新
- 使用浏览器后退按钮重复之前的操作,导致重复提交表单
- 浏览器重复的http请求
- nginx重发
- 分布式RPC的重试,如Mq幂等性问题
解决方案How
这里主要分为前端和后端
前端
1. 对于快速点击,后端直接插入多条数据
前端判断后端的返回,如果上次提交结果没有返回响应,拒绝短时间内再次提交
2. 对于浏览器刷新、前进、后退重复提交
在提交后执行页面重定向,这就是所谓的Post-Redirect-Get (PRG)模式。
简言之,当用户提交了表单后,你去执行一个客户端的重定向,转到提交成功信息页面。
后端
1. 对于重复提交
如果第二次新增,判断是否已经存在数据,如果有就进行更新
2. 用户快速重复点击—加锁
上面这个问题,但是如果用户快速点击,第一条记录还没有写库,那么第二条数据也会插入,还是产生重复提交
这时候要进行加锁,使得同一时间只能一个请求进行
2.1 Redis分布式锁
setnx key value
使用Redis的 setNx(), 第一次设置会返回 true,第二次设置如果存在会返回false,标识覆盖失败。
重复提交,锁定一个唯一的参数作为key
Boolean flag = opsForValue().setIfAbsent(key,value);
if(falg) {
//进行更新
}else {
return ;
}
具体可以使用 jedis或者 redisson来操作redis
注意:
1. 这里必须设置过期时间:否则如果运行中的线程如果挂了,那么提交就一直失败
2. 如果遇到超长时间的流程,运行时间大于过期时间,即第二个线程已经获取到锁了,这时候判断锁的名字和之前的是否一致,不一致就放弃释放。
2.2 ConcurrentHashMap方案
原理:使用了 ConcurrentHashMap 并发容器 putIfAbsent 方法,和 ScheduledThreadPoolExecutor 定时任务
Content-MD5:是指 Body 的 MD5 值,只有当 Body 非Form表单时才计算MD5,计算方式直接将参数和参数名称统一加密MD5
代码学习下,并发下的线程池和 ConcurrentHashMap使用
这个只适合单机部署的应用,生产不实用。 究其原理应该是 ConcurrentHashMap私有,不像redis是共有的
定义注解
@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface Resubmit {
/**
* 延时时间 在延时多久后可以再次提交
*
* @return Time unit is one second
*/
int delaySeconds() default 20;
}
实例化锁
这里注意线程池的使用,5个线程, 抛弃策略
/**
* @author lijing
* 重复提交锁
*/
@Slf4j
public final class ResubmitLock {
private static final ConcurrentHashMap LOCK_CACHE = new ConcurrentHashMap<>(200);
private static final ScheduledThreadPoolExecutor EXECUTOR = new ScheduledThreadPoolExecutor(5, new ThreadPoolExecutor.DiscardPolicy());
// private static final Cache CACHES = CacheBuilder.newBuilder()
// 最大缓存 100 个
// .maximumSize(1000)
// 设置写缓存后 5 秒钟过期
// .expireAfterWrite(5, TimeUnit.SECONDS)
// .build();
private ResubmitLock() {
}
/**
* 静态内部类 单例模式
*
* @return
*/
private static class SingletonInstance {
private static final ResubmitLock INSTANCE = new ResubmitLock();
}
public static ResubmitLock getInstance() {
return SingletonInstance.INSTANCE;
}
public static String handleKey(String param) {
return DigestUtils.md5Hex(param == null ? "" : param);
}
/**
* 加锁 putIfAbsent 是原子操作保证线程安全
*
* @param key 对应的key
* @param value
* @return
*/
public boolean lock(final String key, Object value) {
return Objects.isNull(LOCK_CACHE.putIfAbsent(key, value));
}
/**
* 延时释放锁 用以控制短时间内的重复提交
*
* @param lock 是否需要解锁
* @param key 对应的key
* @param delaySeconds 延时时间
*/
public void unLock(final boolean lock, final String key, final int delaySeconds) {
if (lock) {
EXECUTOR.schedule(() -> {
LOCK_CACHE.remove(key);
}, delaySeconds, TimeUnit.SECONDS);
}
}
}
配置切面
设置切面,拿到注解,先对传参计算Md5值,然后用锁锁住
@Log4j
@Aspect
@Component
public class ResubmitDataAspect {
private final static String DATA = "data";
private final static Object PRESENT = new Object();
@Around("@annotation(com.cn.xxx.common.annotation.Resubmit)")
public Object handleResubmit(ProceedingJoinPoint joinPoint) throws Throwable {
Method method = ((MethodSignature) joinPoint.getSignature()).getMethod();
//获取注解信息
Resubmit annotation = method.getAnnotation(Resubmit.class);
int delaySeconds = annotation.delaySeconds();
Object[] pointArgs = joinPoint.getArgs();
String key = "";
//获取第一个参数
Object firstParam = pointArgs[0];
if (firstParam instanceof RequestDTO) {
//解析参数
JSONObject requestDTO = JSONObject.parseObject(firstParam.toString());
JSONObject data = JSONObject.parseObject(requestDTO.getString(DATA));
if (data != null) {
StringBuffer sb = new StringBuffer();
data.forEach((k, v) -> {
sb.append(v);
});
//生成加密参数 使用了content_MD5的加密方式
key = ResubmitLock.handleKey(sb.toString());
}
}
//执行锁
boolean lock = false;
try {
//设置解锁key
lock = ResubmitLock.getInstance().lock(key, PRESENT);
if (lock) { //如果设置成功
//放行
return joinPoint.proceed();
} else {
//响应重复提交异常
return new ResponseDTO<>(ResponseCode.REPEAT_SUBMIT_OPERATION_EXCEPTION);
}
} finally {
//设置解锁key和解锁时间
ResubmitLock.getInstance().unLock(lock, key, delaySeconds);
}
}
}
使用案例
@ApiOperation(value = "保存我的帖子接口", notes = "保存我的帖子接口")
@PostMapping("/posts/save")
@Resubmit(delaySeconds = 10)
public ResponseDTO saveBbsPosts(@RequestBody @Validated RequestDTO requestDto) {
return bbsPostsBizService.saveBbsPosts(requestDto);
}
以上就是本地锁的方式进行的幂等提交 使用了Content-MD5 进行加密 只要参数不变,参数加密 密值不变,key存在就阻止提交
当然也可以使用 一些其他签名校验 在某一次提交时先 生成固定签名 提交到后端 根据后端解析统一的签名作为 每次提交的验证token 去缓存中处理即可.
小节
当然Redis也可以做成切面的形式,但是做成Api的形式效率更高一些