激活函数是网络训练中的重要组成部分
目前常用的激活函数有sigmoid,swish和Leakyrelu等,其中Leakrelu为GAN网络训练中比较常用的激活函数,也是DeblurGANv2源代码使用的激活函数,以下将尝试更改不同的激活函数,研究对训练过程和训练结果的影响,对DeblurGANv2进行改进。
修改步骤:
修改models文件夹下的网络搭建部分networks.py文件,更改激活函数
如上图所示,总共有8个部分需要修改
使用Leakyrelu激活函数的训练结果(源代码使用的是这个激活函数)
使用sigmoid激活函数的训练结果
使用swish激活函数的训练结果
更换不同的激活函数,对性能指标的影响
PSNR指标对比
PSNR指标对比平滑操作(分析-信号处理-平滑-窗口点数30)
SSIM指标对比
SSIM指标对比平滑操作
总结:通过对比,3个激活函数的PSNR和SSIM指标差别不大,源码中使用的是Leakyrelu,改为sigmoid好一点,但是效果并不是很明显,可以从训练的时间上进一步考虑,训练时间短的激活函数具有一定的优势!
该方向的改进策略:待补充…