- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用交叉熵（CrossEntropyLoss）做多分类问题最后一层是否使用softmax
最近在一个自己的数据集上做多分类问题，使用的是CrossEntropyLoss作为loss，但是训练效果一直不好。就疯狂找问题，快二十天了，未果。昨天在github上找了一段代码，移植之后。训练居然有效果，在看它的模型时，发现最后一层没有加softmax，手痒就加上去了，网络又没有了学习能力。于是怀疑是不是最后一次softmax的问题。在知乎上找到了一个提问，就是关于这个的，链接如下：这是个链接和我这段时间遇到的问题十分的相似，但是我自己的网络还是跑，不知道最后的结果会不会有改善。趁着等网络结果的时间，
2021-06-03 11:53:48
3840
4
原创 pytorch中CrossEntropyLoss中weight的问题
pytorch中CrossEntropyLoss中weight的问题由于研究的需要，最近在做一个分类器，但类别数量相差很大。在查看nn.CrossEntropyLoss()的官方文档时看到这么一句感觉有救了，遂想应用到我自己的网络中，但是weight是自己初始化的。怎么初始化又有问题了。在看focal loss的时候有点印象，样本多的类别权重应该小，但是有没有一个公式啊？在中文互联网是找了很久，没有太多的帖子，相关问题的帖子文章很少，于是就去谷歌了。在以下两篇帖子找到了答案。先放链接http
2021-05-21 11:42:46
4706
6
原创 关于SGD优化器的学习率衰减的问题
由于学术需要，这段时间再训练一个分类器，但其效果不太好，loss下降不明显。便考虑是不是学习率的问题，由于使用的是SGD，其中一个参数为decay，借鉴别人的参设默认值，decay 一般设为1x10-4 .我怀疑是训练过程种学习率太大，于是想找到SGD优化器种学习率衰减的公式，但能力有限，读代码没读懂，就在网上找，也没找到。最后再Google上找到了，帖子的连接如下：https://machinelearningmastery.com/understand-the-dynamics-of-learnin
2021-05-08 10:56:43
4944
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人