代码记录
KORIYN
这个作者很懒,什么都没留下…
展开
-
二分类数据集全部预测到了同一类
学习率设置之前设置了0.1, 0.01,0.0001,0.00001进行训练,但全数据集全部预测到了同一类。检查从权重开始检查,发现学习率为0.1的时候,第一个epoch的模型权重就已经很小很小了,目前猜测是学习率太大,现在从0.0000001开始试。总结:试了常见的学习率后,结果仍一点都不变,一定要及时检查更新的权重。...原创 2020-04-24 23:08:46 · 15507 阅读 · 11 评论 -
训练网络---train loss从一开始就不变
训练网络—train loss、test loss,accuracy从一开始就不变在训练NTSNet的时候,使用了vgg_16bn的baseline,将其设置为unpretrained的时候,发现vgg文件使用了默认的kaiming初始化。但遇到这样一个问题:把vgg_16bn的参数全部打印处理,它有很多层的w权重为接近0的特别小的数,导致数据变化的程度不足以影响得到的结果。**train ...原创 2020-04-20 18:05:43 · 3964 阅读 · 0 评论 -
tensorboard--曲线图颜色深浅两条线
用了用tensorboard,看到左边有一个平滑度数选择,默认是0.6,就调了下,曲线就发生变化了,原来颜色浅的才是真实曲线,但真实曲线往往不好看,所以加入了平滑产生了颜色深的线...原创 2020-04-17 11:38:36 · 6790 阅读 · 2 评论 -
pytorch--网络参数初始化
网络参数初始化(整体)from torch.nn import initdef init_net(net, init_type='normal'): init_weights(net, init_type) return netdef init_weights(net, init_type='normal', gain=0.02): def init_func(m)...原创 2020-04-16 21:01:34 · 856 阅读 · 0 评论