1.问题背景
对于消息队列任务的监听,我们一般使用Java写一个独立的程序,在Linux服务器上运行。当订阅者程序启动后,会通过消息队列客户端接收消息,放入线程池中并发的处理。
那么问题来了,当我们修改程序后,需要重新启动时,如何保证消息都能够被处理呢?
一些开源的消息队列中间件,会提供ACK机制(消息确认机制),当订阅者处理完消息后,会通知服务端删除对应消息,如果订阅者出现异常,服务端未收到确认消费,则会重试发送。
那如果消息队列中间件没有提供ACK机制,或者为了高吞度量的考虑关闭了ACK功能,如何最大可能保证消息都能够被处理呢?
正常来说,订阅者程序关闭后,消息会在队列中堆积,等待订阅者下次订阅消费,所以未接收的消息是不会丢失的。可能出现的问题就是在关闭的一瞬间,已经从消息队列中取出,但还没有被处理的消息。
因此我们需要一套平滑关闭的机制,保证在重启的时候,已接收的消息可以得到正常处理。
2.问题分析
平滑关闭的思路如下:
- 在关闭程序时,首先关闭消息订阅,保证不再接收新的消息。
- 关闭线程池,等待线程池中的消息处理完毕。
- 程序退出。
关闭消息订阅:消息队列的客户端都会提供关闭连接的方法,具体可以自行查看API。
关闭线程池:Java的ThreadPoolExecutor线程池提供shutdown()和shutdownNow()两个方法,区别是前者会等待线程池中的消息都处理完毕,后者会直接停止所有线程并返回未处理完的线程List。因为我们需要使用shutdown()方法进行关闭,并通过isTerminated()方法,判断线程池是否已经关闭。
那么问题又来了,我们如何通知到程序,需要执行关闭操作呢?
在Linux中,进程的关闭是通过信号传递的,我们可以用kill -9 pid关闭进程,除了-9之外,我们可以通过 kill -l,查看kill命令的其它信号量。
![de5c49fff8ebdec01d100ad255329786.png](https://i-blog.csdnimg.cn/blog_migrate/75a3d2383164c240fa71ccb1b9e51e00.jpeg)
这里提供两种关闭方法:
- 程序中添加Runtime.getRuntime().addShutdownHook钩子方法,SIGTERM,SIGINT,SIGHUP三种信号都会触发该方法(分别对应kill -1/kill -2/kill -15,Ctrl+C也会触发SIGINT信号)。
- 程序中通过Signal类注册信号监听,比如USR2(对应kill -12),在handle方法中执行关闭操作。
补充说明:addShutdownHook方法和handle方法中如果再调用System.exit,会造成deadlock,使进程无法正常退出。
伪代码分别如下
![602f8de75ceb3c8b9829977fc1bed085.png](https://i-blog.csdnimg.cn/blog_migrate/5e6f2c63df00bae8af5ed37c9a365288.jpeg)
![1711dba107b2832fcd99b40843c023b2.png](https://i-blog.csdnimg.cn/blog_migrate/1a57bd430cbeb49e01279467a4b011c3.jpeg)
模拟Demo
下面通过一个demo模拟相关逻辑操作
首先模拟一个生产者,每秒生产5个消息
然后模拟一个订阅者,收到消息后,放入线程池进行处理,线程池固定4个线程,每个线程处理时间1秒,这样线程池每秒会积压1个消息。
![5f928c09e612ed88475f34bd242a1ab7.png](https://i-blog.csdnimg.cn/blog_migrate/fcccea9901a7173a3a1c956d8fcfd2fd.jpeg)
![a7240160fc7f8aef71b8cbdd4b5c21e0.png](https://i-blog.csdnimg.cn/blog_migrate/3d9b3d280bb000ae4ed43ec7c7462c6d.jpeg)
当我们在服务上运行时,通过控制台可以看到相关的输出信息,demo中输出了线程池的积压消息个数
java -cp /home/work/lujianing/msg-queue-client/* com.lujianing.demo.MsgClient
![49a87260d77d85880a3b8164ef9cf351.png](https://i-blog.csdnimg.cn/blog_migrate/657136df051d4f24aee7996533bbc061.jpeg)
另打开一个终端,通过ps命令查看进程号,或者通过nohup启动Java进程拿到进程id
ps -fe|grep MsgClient
![a1c585783a2ed9b8ceb2f4c904c764fe.png](https://i-blog.csdnimg.cn/blog_migrate/f35e66c879ba4f08945ca597d35b09c4.jpeg)
当我们执行kill -12 pid的时候 可以看到关闭业务逻辑
![479bf6c80e0dc40ab1ba203ed0adcceb.png](https://i-blog.csdnimg.cn/blog_migrate/aba793442883ef62961ef4887a53fc87.jpeg)
3.总结
其实不单单消息队列任务,在常见的RPC服务中也会见到类似的功能,比如58的SCF,在源码中,也会分别注册了USR2信号量和addShutdownHook钩子方法。
在重启脚本中,首先会发送kill -12命令,RPC服务收到信号后会修改Server状态为关闭。接着会发送kill -15命令,触发钩子方法,关闭所有的连接。
![48fb6ad97f1b89a06143cb09ac8f2a11.png](https://i-blog.csdnimg.cn/blog_migrate/2492f500f5a1275d2bf007b1968a6b46.jpeg)