BERT在CNN上也能用？看看这篇ICLR Spotlight论文丨已开源

字节跳动技术范儿

于 2023-02-14 12:04:57 发布

阅读量1.1k

点赞数

文章标签：深度学习自然语言处理 cnn bert Powered by 金山文档

本文链接：https://blog.csdn.net/weixin_47098359/article/details/129024451

版权

本文介绍了一种名为SparK的新方法，它使BERT能够在卷积神经网络（CNN）上运行。SparK采用稀疏且层次化的掩码建模，解决了CNN与BERT结合的两大挑战，适用于各种CNN模型，如ResNet和ConvNeXt，提升了图像分类、目标检测和实例分割任务的性能。

摘要由CSDN通过智能技术生成

如何在卷积神经网络上运行 BERT？

你可以直接用 SparK —— 字节跳动技术团队提出的提出的稀疏层次化掩码建模 ( Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling )，近期已被人工智能顶会 ICLR 2023 收录为 Spotlight 焦点论文：