学习路线:
这个方向初期比较容易入门一些,掌握一些基本技术,拿起各种现成的工具就可以开黑了。不过,要想从脚本小子变成黑客大神,这个方向越往后,需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容:
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
具体实现代码如下:
/**
* Description: 基于Redis的ZSet的定时任务 .<br>
*
* @author mxy
*/
@Configuration
@EnableScheduling
public class RedisJob {
public static final String JOB_KEY = "redis.job.task";
private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class);
@Autowired private StringRedisTemplate stringRedisTemplate;
/**
* 添加任务.
*
* @param task
*/
public void addTask(String task, Instant instant) {
stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond());
}
/**
* 定时任务队列消费
* 每分钟消费一次(可以缩短间隔到1s)
*/
@Scheduled(cron = "0 0/1 * * * ? *")
public void doDelayQueue() {
long nowSecond = Instant.now().getEpochSecond();
// 查询当前时间的所有任务
Set<String> strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond);
for (String task : strings) {
// 开始消费 task
LOGGER.info("执行任务:{}", task);
}
// 删除已经执行的任务
stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond);
}
}
适用场景如下:
- 订单下单之后15分钟后,用户如果没有付钱,系统需要自动取消订单。
- 红包24小时未被查收,需要延迟执退还业务;
- 某个活动指定在某个时间内生效&失效;
优势是:
- 省去了MySQL的查询操作,而使用性能更高的Redis做为代替;
- 不会因为停机等原因,遗漏要执行的任务;
键空间通知的方式
我们可以通过Redis的键空间通知来实现定时任务,它的实现思路是给所有的定时任务设置一个过期时间,等到了过期之后,我们通过订阅过期消息就能感知到定时任务需要被执行了,此时我们执行定时任务即可。
默认情况下Redis是不开启键空间通知的,需要我们通过config set notify-keyspace-events Ex
的命令手动开启。开启之后定时任务的代码如下:
自定义监听器
/**
* 自定义监听器.
*/
public class KeyExpiredListener extends KeyExpirationEventMessageListener {
public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
super(listenerContainer);
}
@Override
public void onMessage(Message message, byte[] pattern) {
// channel
String channel = new String(message.getChannel(), StandardCharsets.UTF_8);
// 过期的key
String key = new String(message.getBody(), StandardCharsets.UTF_8);
// todo 你的处理
}
}
设置该监听器
/**
* Description: 通过订阅Redis的过期通知来实现定时任务 .<br>
*
* @author mxy
*/
@Configuration
public class RedisExJob {
@Autowired private RedisConnectionFactory redisConnectionFactory;
@Bean
public RedisMessageListenerContainer redisMessageListenerContainer() {
RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer();
redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory);
return redisMessageListenerContainer;
}
@Bean
public KeyExpiredListener keyExpiredListener() {
return new KeyExpiredListener(this.redisMessageListenerContainer());
}
}
Spring会监听符合以下格式的Redis消息
private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");
基于Redis的定时任务能够适用的场景也比较有限,但实现上相对简单,但对于功能幂等有很大要求。从使用场景上来说,更应该叫做延时任务。
场景举例:
- 订单下单之后15分钟后,用户如果没有付钱,系统需要自动取消订单。
- 红包24小时未被查收,需要延迟执退还业务;
优劣势是:
- 被动触发,对于服务的资源消耗更小;
- Redis的Pub/Sub不可靠,没有ACK机制等,但是一般情况可以容忍;
- 键空间通知功能会耗费一些CPU
分布式定时任务
引入分布式定时任务组件or中间件
将定时任务作为单独的服务,遏制了重复消费,独立的服务也有利于扩展和维护。
quartz
依赖于MySQL,使用相对简单,可多节点部署,通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面,使用相对麻烦。
elastic-job-lite
依赖于Zookeeper,通过zookeeper的注册与发现,可以动态的添加服务器。
- 多种作业模式
- 失效转移
- 运行状态收集
- 多线程处理数据
- 幂等性
- 容错处理
- 支持spring命名空间
- 有图形化管理页面
LTS
依赖于Zookeeper,集群部署,可以动态的添加服务器。可以手动增加定时任务,启动和暂停任务。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!