【研0日记】24.01.06

又是开开心心浪费时间的一天捏，早上跑带有cosine模块的代码，还打了游戏，下午睡觉

---

晚上来学了一下，各种Normalize的方法，BN、LN、GN、IN，然后又瞅了两眼我们的代码，然后现在有几个想法：

1、用bbox裁剪完特征图之后，打算在averagepooling之前再添加一个conv，就是让他自己学习最优的patch feature，这个代码写完了，明天坐等跑

2、把patch feature加到每一个kernel update stage前的kernel里面，我是想，每个stage其实都差不多，就是迭代的差别，就是kernel送进去，然后更新kernel，而且每个stage都用同一张feature map，那为啥只改kernel_0不管其他的捏，要不试试？但是感觉这种方法可能不会太好

3、kernel_0现在不是加了局部特征嘛，但是kernel应该是包含一定的位置先验信息的（其实这个kernel我真的有点不太明白，我估计他就和transformer的query是一样的，就是同时包含位置信息和语义信息），那只加特征会不会不太好，要不像detr那样给query加上pos_embedding？

浅浅记录一下，不敢深入太多，怕把别的忘了hhhh，而且本来也没想得太细致，想回去了，明天看看dab-detr之类的，看一下query的性质，毕竟knet和transformer其实就是很像