BERT在CNN上也能用？看看这篇ICLR Spotlight论文丨已开源

如何在卷积神经网络上运行 BERT？

你可以直接用 SparK —— 字节跳动技术团队提出的提出的稀疏层次化掩码建模 ( Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling )，近期已被人工智能顶会 ICLR 2023 收录为 Spotlight 焦点论文：

这也是 BERT 在卷积神经网络 (CNN) 上的首次成功，论文和开源代码地址请在文末自取。

先来感受一下 SparK 在预训练中的表现吧。

输入一张残缺不全的图片：

还原出一只小狗：

另一张残缺图片：