版权
什么是JVM Shutdown Hook
Shutdown Hook是一种比较特殊的结构,一般用于在JVM关闭之前,需要执行的一些操作的时候。常见的,比如说你的程序退出时需要做一些清理工作的时候,就可以考虑使用Shutdown Hook。但是如果你的JVM是非正常退出的,比如接收了SIGKILL,这个时候就不能保证shutdown hook能够正常执行。
如何使用Shutdown Hook
Java中其实已经提供了相应的接口来实现,使用起来也非常方便。以下给出几个简单的例子:
public class ShutDownHookTest
{
public static void main(String[] args)
{
Runtime.getRuntime().addShutdownHook(new Thread()
{
public void run()
{
System.out.println("Shutdown Hook now!");
}
});
System.out.println("Going to exit");
}
}
输出:
Going to exit
Shutdown Hook now!
以上例子可以看到,我们只需要给addShutdownHook里传入一个Thread对象,在run()中写入需要执行的操作。
class MyThread extends Thread {
public void run() {
System.out.println("Execute done");
System.out.println("Shutdown hook now!");
}
}
class ShutDownHookTest {
public static void main(String[] args) {
Runtime.getRuntime().addShutdownHook(new MyThread());
for(int i = 1; i < 4; i++)
System.out.println("Execute:" + i);
}
}
输出:
Execute:1
Execute:2
Execute:3
Execute done
Shutdown hook now!
以上例子可以清晰看到,当主程序执行完后,才会开始执行Shutdown Hook, JVM才会退出。
Shutdown Hook的特性
Shutdown Hook不能保证一定执行
如果JVM crashe了, Shutdown Hook并不能保证一定执行。例如如果收到了SIGKILL的时候,程序会立刻终止执行,JVM立刻退出,导致没有机会执行Shutdown Hook.如果调用了Runtime.halt()的情况下,也可以导致JVM在没有执行Shutdown Hook的时候直接退出。当然,如果一个程序正常结束,会在JVM退出去调用Shutdown Hook。如果JVM因为用户要求中断或者是接受到SIGTERM,也是会调用Shutdown Hook的。
Shutdown Hook是可以被强制中断的
即使已经开始执行Shutdown Hook,也是可以被中断的,比如当接收到了SIGTERM,但是shutdown hook没有在一定时间内完成,也是会被强制中断,导致shutdown hook没有完整执行。所以一般在Shutdown hook中的操作都应该是可以快速执行完毕,不应该是一些long time的任务。
Shutdown Hook可以有多个
一个程序中可以注册多个shutdown hook,但是JVM执行shutdown hook的时候是一个任意顺序,并且JVM执行hook的时候是并发的。
Shutdown hook中不可以regist/unregister shutdown hook
如果这么做了,JVM会抛IllegalStateException。
Shutdown hook可以被停止
如果一个Shutdown已经开始执行了,除了例如SIGKILL这样的外部干预,需要且只能通过Runtime.halt()中断。
Shutdown hook需要安全权限
Shutdown hook在Spark中的应用实例
在这里我们用Spark中的ApplicationMaster来做一个实例分析。
ApplicationMaster.scala
// This shutdown hook should run *after* the SparkContext is shut down.
val priority = ShutdownHookManager.SPARK_CONTEXT_SHUTDOWN_PRIORITY - 1
ShutdownHookManager.addShutdownHook(priority) { () =>
val maxAppAttempts = client.getMaxRegAttempts(sparkConf, yarnConf)
val isLastAttempt = appAttemptId.getAttemptId() >= maxAppAttempts
if (!finished) {
// The default state of ApplicationMaster is failed if it is invoked by shut down hook.
// This behavior is different compared to 1.x version.
// If user application is exited ahead of time by calling System.exit(N), here mark
// this application as failed with EXIT_EARLY. For a good shutdown, user shouldn't call
// System.exit(0) to terminate the application.
finish(finalStatus,
ApplicationMaster.EXIT_EARLY,
"Shutdown hook called before final status was reported.")
}
if (!unregistered) {
// we only want to unregister if we don't want the RM to retry
if (finalStatus == FinalApplicationStatus.SUCCEEDED || isLastAttempt) {
unregister(finalStatus, finalMsg)
cleanupStagingDir(new Path(System.getenv("SPARK_YARN_STAGING_DIR")))
}
}
这段程序中,当application结束时需要删除stagingDir下的文件。这就是我们上文提到的shutdown hook常见用法。
但在实际Spark application中,有时候会碰到application被kill或者异常退出的情况,这个时候去观察stagingDir会发现,application结束后它并没有被删除。因为当application被kill或者异常退出时,Yarn会发送SIGTERM,随后发送SIGKILL。shutdown hook需要在这两个操作中间完成,如果没有及时完成,就会导致shutdown hook里的删除stagingDir的操作没有完成。这个时间可以通过yarn.nodemanager.slepp-delay-before-sigkill.ms来设置。
参考
http://docs.oracle.com/javase/1.5.0/docs/api/java/lang/Runtime.html#addShutdownHook(java.lang.Thread)