胡侃有料的博客

detr之loss逐行梳理匹配，预测框和gt框进行匹配计算损失""""""self.num_classes = num_classes # 数据集类别数self.matcher = matcher # HungarianMatcher() 匈牙利算法 二分图匹配self.weight_dict = weight_dict # dict: 18 3x6 6个decoder的损失权重 6*(loss_ce+loss_giou+loss_bbox)

detr之decoder逐行梳理。

detr之encoder逐行梳理。

detr 之backbone逐行梳理。

detr。

every blog every motto: You can do more than you think.https://blog.csdn.net/weixin_39190382?type=blogswin论文： https://arxiv.org/pdf/2103.14030v1.pdf时间： 2021.3.25作者： Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo网

vit梳理。

transformer注解在过去的一年里，《Attention is all you need》中的transformer一直萦绕在很多人的脑海里。除了在翻译质量上产生重大改进之外，它还为许多其他NLP任务提供了一种新的架构。论文本身写得很清楚，但传统观点认为很难正确执行。在这篇文章中，我将以逐行实现的形式呈现论文的注释版本。我重新整理并删除了原论文中的一些章节，并在全文中添加了注释。这个文档本身就是一个工作笔记本，应该是一个完全可用的实现（可以在jupyter notebook中运行）。

neural machine translation by jointly learning to align and translate阅读与思考作为transformer的前传，同时，作为在nlp中第一篇注意力机制相关文章，还是很有必要一读。本文的主要贡献是打破了此前翻译中encoder-decoder需将句子变换到一个固定的长度，采用自适应方法。arxiv第一版时间为2014年。

从attention到Transformer变化过程