softsign激活函数

最新推荐文章于 2024-03-26 20:15:03 发布

AI算法网奇

最新推荐文章于 2024-03-26 20:15:03 发布

阅读量3.4k

点赞数

分类专栏：深度学习宝典文章标签： pytorch 人工智能 python

本文链接：https://blog.csdn.net/jacke121/article/details/121284755

版权

深度学习宝典专栏收录该内容

999 篇文章 723 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文讨论了在人脸识别任务中使用softsign激活函数替代prelu和bn层的效果，发现其表现并不理想。同时介绍了在PyTorch中如何实现softsign函数，并提供了相关示例和效果展示。

摘要由CSDN通过智能技术生成

softsign激活函数

人脸识别中，尝试替代prelu和bn层，效果不好。

pytorch函数：

    a_tensor=torch.Tensor([[-1,2,30],[4,5,60],[7,8,9]])
    aaaaa=F.softsign(a_tensor)

    print(a_tensor)

class SoftSign(Activation):
    def __init__(self, x):
        super(SoftSign, self).__init__(x)

    def forward(self):
        self.p = self.x / (1 + np.abs(self.x))
        return self.p

    def backward(self):
        self.derivative = np.full_like(self.p, 0)
        self.derivative[self.x >= 0] = np.power(1 - self.p[self.x >= 0], 2)
        self.derivative[self.x < 0] = np.power(1 + self.p[self.x < 0], 2)
        return self.derivati

了解本专栏