当某一层的输入大于0时,对应反向传播时该层的梯度等于上一层反传回来的梯度,因为此时认为RELU对应梯度为1。 当某一层的输入小于0时,该层对应梯度置零。 relu在0点是不可导的,在0点的梯度要自定义0或1。