loss和accuracy不变时
1、降低学习率(已验证)
2、减小初始化权重
3、如果有BN(batch normalization)层,finetune时最好不要冻结BN的参数,否则数据分布不一致时很容易使输出值变得很大(注意将batch_norm_param中的use_global_stats设置为false )。
4、观察数据中是否有异常样本或异常label导致数据读取异常
loss值不变时
最新推荐文章于 2024-04-14 17:14:50 发布
loss和accuracy不变时
1、降低学习率(已验证)
2、减小初始化权重
3、如果有BN(batch normalization)层,finetune时最好不要冻结BN的参数,否则数据分布不一致时很容易使输出值变得很大(注意将batch_norm_param中的use_global_stats设置为false )。
4、观察数据中是否有异常样本或异常label导致数据读取异常