redis队列去重_lua + redis 的去重队列

背景是任务派发系统，我们我们的任务落地在mysql， 然后有通过redis 的list 做队列，因为任务是幂等的，所以，超时任务和失败重试任务会重新入队。这里出现了一个情况，就是我们的任务，比如，视频转码，是极其耗时的，任务出现重复入队的情况，这不是我们所期望的，所以我们需要对任务进行去重。