2023/11/14 新增 VanillaNet5 VanillaNet13 🍀
论文地址:https://arxiv.org/pdf/2305.12972.pdf
代码地址:https://github.com/huawei-noah/VanillaNet
在基础模型的核心是“多样性即不同”,这一哲学在计算机视觉和自然语言处理方面取得了惊人的成功。然而,优化和Transformer模型固有的复杂性带来了挑战,需要转向简洁性的范式。在这项研究中,我们介绍了VanillaNet,这是一种拥抱设计优雅的神经网络架构。通过避免高深度、快捷方式和像自注意力这样的复杂操作,VanillaNet既简洁又强大。每一层都经过精心设计,紧凑而直观,训练后修剪非线性激活函数以恢复原始架构。VanillaNet克服了固有复杂性的挑战,使其非常适用于资源受限的环境。其易于理解和高度简化的架构