【研0日记】23.12.24

今天是平安夜哦，虽然我也不过圣诞，没啥感觉

这两天考研，有点烦，学校把网都断了，4g都很差，到处没信号

---

之前单独加入了类别损失，就是本来只有背景0和前景1的，然后加入类别之后效果好了不少，0.242涨到0.251。今天又思考了一下，之前的大致流程就是：由zero-shot inference得到含有bbox、segm、cls的json，预训练阶段就用bbox得到feature，注入kernel之后迭代，然后kernel卷积feature map得到mask（跟segm做loss），kernel自己过fc预测cls（分类loss）

有一个东西就感觉没用到，就是json的cls，在bbox划分feature map得到feature时，他其实就已经有类别信息了，就是他知道这是哪一类，因为我们有zero-shot inference得到的json，但是之前那样就相当于我还不知道这块feature的分类情况，后续再经过分类头去分类、做损失

分类损失前要有一个匈牙利匹配的步骤，就是根据match cost判读得到的prediction要跟哪个gt做损失，当然是相对于的pred和gt做损失才正确，我预测狗，当然就要和狗的gt做损失，而不是猫。所以在匹配过程中，就是根据匹配的match cost最小来匹配，但是现在我不是早就知道了cls信息嘛，那就直接匹配上了，不用再通过匈牙利匹配，而且人家匹配可能还有一些匹配错误

但是有可能在zero-shot inference获取json的时候也会有分类错误，所以也不能完全去掉匈牙利匹配，我觉得应该可以设置一个权重来平衡这两个匹配

---