Pytorch深度学习——不同激活函数处理多维特征的输入（B站刘二大人P7作业）

 作业内容：采用不同的激活函数进行训练，并画出不同激活函数的损失曲线进行比较。

 

 PyTorch提供的激活函数有很多，具体可以从以下链接查看：

torch.nn — PyTorch 2.0 documentation

---

•  Hardsigmoid：

torch.nn.Hardsigmoid()

 激活公式如下：

 训练的损失曲线如下：

 ​​​​​

---

• Sigmoid

torch.nn.Sigmoid()

 激活公式如下：

 训练的损失曲线如下：

---

•  ReLU

torch.nn.ReLU()

 激活公式如下：

训练的损失曲线如下：

---

• Softplus

torch.nn.Softplus()

 激活公式如下：

训练的损失曲线如下：

       按照老师讲的方法使用其他激活函数的时候总是出现以下报错，不知道为什么，是因为这个激活函数不适合此次训练吗？有大佬可以指点一下吗。