lch的博客

目录简介动机方法实验简介本文出自张含望老师课题组。论文链接动机文章的第一句就说明了本文的动机，也就是，本文提出了一个新颖的注意力机制，可以消除现有的基于注意力的视觉语言方法中的混杂效应。混杂效应会造成有害的bias，误导注意力模块学到数据中的虚假相关，从而降低模型的泛化性。由于混杂是不可观测的，所以作者使用了前门调整策略实现因果干预。方法现有的方法中通常是建模公式1：作者认为，应该建模P(Y∣do(X))P(Y|do(X))P(Y∣do(X))。但是由于混杂的存在，P(Y∣do(X

目录简介动机方法实验简介本文出自华为诺亚方舟，作者是韩凯。文章链接动机本文动机是，在ViT基础上，编码patch内的pixel之间的结构信息。方法使用两个transformer，外transformer负责编码大小为16×1616 \times 1616×16的patch之间的关系，内transformer负责编码大小为4×44 \times 44×4的super-pixel之间的关系。实验本文方法的实验结果也很好。...

目录TransformerBERT题目TransformerBERT题目Pre-training of Deep Bidirectional Transformers for Language Understanding下载链接

目录文章简介Issues文章简介本文是一篇vision&language跨模态的bert模型。代码链接论文链接IssuesModuleNotFoundError: No module named ‘external._mask’pip install Cpythoncd tools/refer/python setup.py build_ext install(refer.py) change “from external import mask” to “from .ex

目录简介动机贡献方法实验简介动机贡献方法实验

目录ICCV 2019 VideoBERTNIPS 2019 ViLBERTarXiv 2019 VisualBERTarXiv 2019 CBTarXiv 2019 UNITEREMNLP-IJCNLP 2019 B2T2EMNLP-IJCNLP 2019 LXMERTICLR 2020 VL-BERTAAAI 2020 Unicoder-VLAAAI 2020 VLPCVPR 2020 12-in-1关于BERT和Transformer的介绍，可以看我的这篇博客。ICCV 2019 VideoBE