本篇内容:将unet中卷积模块的RELU激活函数替换为不同的激活函数,提高模型性能!
激活函数在人工神经网络(ANN)中起着至关重要的作用,它们是引入非线性特性的关键,使得神经网络能够学习和逼近复杂的非线性函数。如果没有激活函数,神经网络的每一层输出都是上一层输入的线性组合,这样的网络无论层数多少,整体仍然是线性的,无法处理复杂的模式。
目录
1.步骤一
在models/unet_parts.py添加如下代码:
########新增
class Conv(nn.Module):
# Standard convolution
def __init__(self, c1, c2, k=3): # ch_in, ch_out, kernel, stride, padding, groups
super(Conv, self).__init__()
self.conv = nn.Conv2d(c1, c2, k, padding=1, bias=False)
self.bn = nn.BatchNorm2d(c2)
#self.act = nn.SiLU()
#self.act = nn.LeakyReLU(0.1