ReLU6就是普通的ReLU但是限制最大输出值为6(对输出值做clip)
在Mobile v1里面使用的
这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范围的数值,带来精度损失。
torch.nn.ReLU6(inplace=False)
ReLU6
最新推荐文章于 2024-03-15 10:30:23 发布
ReLU6就是普通的ReLU但是限制最大输出值为6(对输出值做clip)
在Mobile v1里面使用的
这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范围的数值,带来精度损失。
torch.nn.ReLU6(inplace=False)