我是根据tesorflow平台的fcn-vgg16进行修改,修改为两分类,出现训练结果如下所示:

并且输出结果的hostogram如下:

出现的问题:
1. 如果学习率比较大的话,histogram就会变成高斯分布,结果如下:

造成这个的原因还没找到,希望能了解的朋友指点一下。
2.网络训练之后出现的结果一直都没有变过,根本就没有学习,训练结果如下所示:
[0.023601367981489846, 0.5017343079425425, 0.04508209350092751]
训练了10w次之后,结果还是这个。头疼
以上两个问题是现阶段发现的,还没找到解决方案,仍然在探索。
2019-9-26日补充说明:
上述问题已经解决,原因是因为反卷积网络中weight使用的双线性插值没有初始化好,导致出现高斯现象。

使用tf.get_variable进行初始化,结果正常。使用上述的tf.truncated_normal_initializer()则出现高斯现象。
还需要对以下的weight_decay进行初始化:

训练histogram图如下:

本文针对基于TensorFlow平台的FCN-VGG16网络修改为两分类任务时遇到的学习率调整和网络训练停滞问题进行了深入探讨。通过调整权重初始化方式,解决了训练过程中出现的高斯分布和学习停滞现象。
2260

被折叠的 条评论
为什么被折叠?



