n1
sigmoid loss:
1-190epoch loss: 0.68———0.1
epoch10
epoch40
epoch190
可以看到明显的梯度下降,sleep和playphone是数据集的问题。
focal loss:
200epoch
也不拟合,这时怀疑是数据集的问题,因为sigmoid没有对数据集的约束,所以数据集的分布对结果影响不大,但是数据集的分布对focal loss和myloss影响很大。
myloss:
训练不拟合 0-35epoch loss:0.2---0.15左右然后不拟合了
看看测试loss有没有拟合:
epoch5
epoch35
训练和测试都几乎不拟合,虽然只训练了35轮,但相比sigmoid效果差很多。
train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目。
调整学习率和loss中加入一个约束参数再试试。
n2
myloss:
学习率lr:0.075*0.1 epoch30 loss 0.10
学习率lr:0.01*0.1
可以看到明显的loss下降和精度提升,说明loss设计的是有效的。
sigmoid loss
200epoch lr:0.01 loss 0.13