对于如grad(梯度)等中间变量在反传过程中,对于中间变量,一旦它们完成了自身反传的使命,就会被释放掉。
因此,hook就派上用场了。简而言之,register_hook的作用是,当反传时,除了完成原有的反传,额外多完成一些任务。你可以定义一个中间变量的hook,将它的grad值打印出来,当然你也可以定义一个全局列表,将每次的grad值添加到里面去。
对于如grad(梯度)等中间变量在反传过程中,对于中间变量,一旦它们完成了自身反传的使命,就会被释放掉。
因此,hook就派上用场了。简而言之,register_hook的作用是,当反传时,除了完成原有的反传,额外多完成一些任务。你可以定义一个中间变量的hook,将它的grad值打印出来,当然你也可以定义一个全局列表,将每次的grad值添加到里面去。