其实就是让值能够保持一个基本非负,大于零的数值保持本身,小于零的部分乘以一个非常小的权重值,达到近似非负的效果。
=====================================================
以下内容摘自Pytorch官网:
LeakyReLU(x)=max(0,x)+negative_slope∗min(0,x)
Parameters
-
negative_slope – Controls the angle of the negative slope. Default: 1e-2
-
inplace – can optionally do the operation in-place. Default:
False