摘要:
本文提出当发生非对称失真时,使用DMOS或MOS来训练网络是不合理的,因此使用FSIM对左右单独视图进行质量分数的预测,将预测标签来训练左右视图网络,称之为局部回归,然后使用DMOS来微调局部回归网络,称之为全局回归。
方法介绍:
网络总共分为两个阶段,第一阶段使用FSIM全参考方法预测左右视图的质量分数,并使用左右视图及其预测标签来训练局部回归网络,在完成第一阶段的训练后,将局部网络参数存储,在第二阶段,将两个通道获得的特征concat,并使用DMOS训练网络得到全局回归。网络总体结构如下所示:
局部回归:
训练局部回归网络时分别训练左右子网络,将左右图像使用FSIM预测得到的值作为标签,训练子网络,并将子网络参数保存,损失函数使用欧氏距离。
全局回归
完成第一阶段预测后,使用DMOS作为标签,将第一阶段得到的特征concat,进行第二阶段网络训练。
总结
总体来看,网络结构中规中矩,只是在训练时采用两阶段进行训练,其它的没什么可说的。。。