文章目录
摘要
VanillaNet是华为今年发布的CNN网络。在Transformers流行的2023年,用最普通的卷积打造出极简的网络架构。
本文将VanillaNet加入到YoloV8网络,猜一猜效果会怎么样呢? 我们拭目以待!
老规矩,先读论文再看改进方法!
论文翻译
论文摘要
链接:https://arxiv.org/pdf/2305.12972v2.pdf
基础模型的核心理念是“多而不同”,计算机视觉和自然语言处理领域的惊人成功就是例证。然而,优化的挑战和transformers模型固有的复杂性要求范式向简单性转变。在本研究中,我们介绍VanillaNet,一个包含优雅设计的神经网络架构。通过避免高深度,快捷方式和复杂的操作,如自我关注,VanillaNet令人耳目一新的简洁,但非常强大。每一层都被精心制作得紧凑而直接,非线性激活函数在训练后被修剪以恢复原始结构。VanillaNet克服了固有复杂性的挑战,使其成为资源受限环境的理想选择。其易于理解和高度简化的架构为高效部署提供了新的可能性。大量的实验表明,VanillaNet提供的性能与著名的深度神经网络和视觉转换器相当,展示了极简主义在深度学习中的力量。VanillaNet的这一富有远见的旅程具有重新定义景观和挑战基础模型现状的巨大潜力,为优雅有效的模型设计开辟了一条新的道路。预训练的模型和代码可在https://github.com/huawei-noah/VanillaNet和https://gi