NextViT: 一款优秀的实时中文日常物品图像分类模型

论文：https://arxiv.org/abs/2207.05501

代码：https://github.com/bytedance/Next-ViT

达摩院modelscope开源平台Next-ViT模型快速体验: ModelScope 魔搭社区

近年来，随着人工智能技术的不断发展，计算机视觉技术也在不断进步。图像分类是计算机视觉领域中的一个重要问题，它可以应用于很多实际场景，比如安防、智能家居、物流等。为了解决这个问题，达摩院modelscope模型开源平台实现了NextViT模型，它是一款基于Transformer的实时中文日常物品图像分类模型，其在计算机视觉领域中具有极高的准确性和速度，值得广泛推广应用。

一、NextViT模型的介绍

NextViT是基于Transformer的实时中文日常物品图像分类模型，其使用了一种创新的CNN-Transformer混合架构Next-ViT。在计算机视觉领域中，CNN是一种非常流行的模型架构，它可以有效地处理图像，但是在处理图像时需要大量的计算资源，特别是当图像尺寸变得很大时。为了解决这个问题，NextViT提出了一种新的混合架构，它将CNN和Transformer结合在一起，充分利用它们各自的优点，从而达到更高的效率和准确性。

与其他的图像分类模型不同，NextViT使用了1300类常见物体标签体系，覆盖了常见的日用品、动物、植物、家具、设备、食物等物体，标签从海量中文互联网社区语料进行提取，保留了出现频率较高的常见物体名称。这使得NextViT模型在中文日常物品图像分类方面的表现非常出色。

二、NextViT模型的优势

1. 更高的准确性

NextViT采用了基于Transformer的混合架构，利用了Transformer的自注意力机制来处理图像，从而获得更高的准确性。这种架构能够更好地处理图像中的局部特征和全局特征，从而使得模型在处理不同种类的图像时具有更好的表现。实验结果表明，在分类、检测、分割任务上，NextViT模型的性能达到了SOTA，例如在与CSWin相当的性能下，推理速度提高了3.6倍，这是其他图像分类模型无法比拟的。

2. 更快的速度

模型结构采用了基于Transformer的第一个实现工业TensorRT实时落地的Next-ViT结构。在现有的ViT模型中，由于较高计算复杂度的注意力机制，很难在现实的工业部署场景中像CNNs那样高效地执行，但NextViT模型采用了基于TensorRT的实时落地技术，能够在现实的工业部署场景中高效地执行。

总的来说，NextViT实时中文日常物品图像分类模型是一个高效、准确、易用的图像处理工具。它不仅能够满足各个行业的需求，还方便大众在日常生活中的使用。

应用：

本文应用模型已在maas上呈现。另外给大家介绍下maas上其他相关开源免费模型，欢迎大家体验、下载（手机端可体验）：

https://modelscope.cn/models/damo/cv_vit-base_image-classification_Dailylife-labels/summary

https://modelscope.cn/models/damo/cv_vit-base_image-classification_ImageNet-labels/summary

https://modelscope.cn/models/damo/cv_nextvit-small_image-classification_Dailylife-labels/summary

https://modelscope.cn/models/damo/cv_convnext-base_image-classification_garbage/summary

https://modelscope.cn/models/damo/cv_beitv2-base_image-classification_patch16_224_pt1k_ft22k_in1k/summary

https://modelscope.cn/models/damo/cv_beitv2-large_image-classification_patch16_224_pt1k_ft22k_in1k/summary