LLMs 时代之后的大型视觉模型 (LVMs) 新时代：方法、示例、应用场景

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

---

作者：Springs

编译：ronghuaiyang

导读

让我们来看看大型视觉模型是如何进入生成式人工智能市场的，它们的工作原理以及它们在实际商业生活中可以被特别应用于哪些地方。在本文中，我们将尝试向您展示 LVM 的起源、方法、应用场景以及不同的示例。

引言

根据Authority Hacker 研究，目前全球大约有 35% 的企业使用人工智能。这表明在所有业务自动化流程中应用人工智能有着显著的增长。因此，我们无法否认，在不久的将来，人工智能和机器学习几乎会影响到每一家公司。

机器学习和Transformer 模型已经成为生成式人工智能行业的核心部分。近年来，LLM 在开发 AI 聊天机器人和虚拟助手方面展示了其颠覆性的应用。我们正步入一个新时代——大型视觉模型 (LVM) 的时代。

那么，让我们来看看大型视觉模型是如何进入生成式人工智能市场的，它们的工作原理以及它们在实际商业生活中可以被特别应用于哪些地方。在本文中，我们将尝试向您展示 LVM 的起源、方法、应用场景以及不同的示例。

什么是大型视觉模型 (LVM)？

1. 定义

大型视觉模型 (LVM) 是一种复杂的人工智能 (AI) 系统，旨在分析和理解视觉信息，主要是图像或视频。LVM 可以被视为**大型语言模型 (LLM)**的视觉对应物。这些模型以其庞大的参数数量为特征，通常达到数百万甚至数十亿，使它们能够把握复杂的视觉模式。

1. 设计

大型视觉模型的架构涉及利用先进的神经网络架构。最初，卷积神经网络 (CNN) 因其高效处理像素数据并识别层次化特征的能力而在图像处理领域占据主导地位。最近，原本专为自然语言处理设计的 Transformer 模型已被重新用于各种视觉任务，在某些情况下表现出更优的性能。

1. 训练

为了训练大型视觉模型，需要提供大量的视觉数据，例如图像或视频，以及相应的标签或注释，采用逐步序列建模框架。训练者仔细标记大量的图像集，为模型提供上下文。

OpenAI创造了一个完美的方案来展示它是如何工作的：

例如，在图像分类任务中，每张图像都会被打上对应的类别标签。模型通过迭代优化其参数来最小化预测结果与真实标签之间的差异。这一努力需要大量的计算资源和一个庞大且多样化的数据集来训练模型对新出现、未见过的数据的有效泛化能力。

例如，在图像描述任务中，会生成一张图像的自然语言描述，比如“一个男人在一个晴朗的日子里修剪草坪”。同样，在视觉问答场景中，LVM 展现出对于针对图像的自然语言问题提供细致回答的能力，例如“这台割草机是什么颜色？”

这就是 LVM 的工作方式。现在，让我们来看看大型语言模型 (LLM) 和大型视觉模型 (LVM) 之间的区别。

LVM 与 LLM：有何不同？

在讨论 LLM 和 LVM 的区别之前，让我们简要回顾一下 LLM 的工作原理以及它与自然语言处理 (NLP) 的联系。

大型语言模型 (LLM) 是一种特定类型的 NLP 模型，它使用深度学习技术，尤其是像 GPT（生成式预训练Transformer）这样的模型，对大量文本数据进行训练。这种模型能够根据从训练数据中学到的模式理解和生成类似人类的文字。

基本上，LLM是NLP系统的关键组成部分。它们使计算机能够理解和生成类似人类的文字，这对于广泛的 NLP 应用至关重要，例如AI 聊天机器人、语言翻译、文本摘要、情感分析等。LLM 通过作为强大的语言模型来支持许多NLP应用的基础技术，能够以高精度处理多种语言任务。

让我们看一下下面的图表，它显示了LVM 和 LLM如何相互对应。

因此，尽管 LVM 和 LLM 来自相同的概念背景，但在应用和效果上却有着显著的区别。特别是 LLM，在通过大规模训练互联网文本数据的基础上，展现出了理解与生成文本的卓越能力。

这一成就基于一个关键观察：互联网文本与专有文档之间的相似度足够高，使得 LLM 能够熟练地适应并理解广泛的文本内容。这就是我们现在看到的主要 LLM 与 LVM 区别所在。

大型视觉模型的例子有哪些？

至少有四家大公司已经被公认为是当今 LVM 领域的顶级推动者：

1. OpenAI

2. Meta

3. Google

4. LandingAI

那么，让我们深入了解一下这些公司开发和支持的 LVM 示例。

OpenAI 的 CLIP

CLIP或对比式语言-图像预训练是一种神经网络，它使用多样化的图像集合及其对应的文本描述进行训练。通过这个过程，它获得了理解和以符合自然语言描述的方式表述图像内容的能力。

利用这一能力，该模型能够执行多种视觉相关的任务，包括零样本分类，通过在自然语言的背景下解释图像。此模型可以轻松应用于许多生成式 AI 初创企业。它的训练数据集包含 4 亿对图像和文本，使它能够有效地连接计算机视觉和自然语言处理。因此，CLIP 在诸如标题预测和图像摘要等任务中表现出色，即使没有针对这些具体目标进行专门训练。

Meta 的 DINOv2

DINOv2是一种自我监督的视觉 Transformer 模型，属于基础模型家族，能够产生适用于图像级别的视觉任务（如图像分类、实例检索、视频理解）以及像素级别的视觉任务（如深度估计、语义分割）的通用特征。

一个包含 1.42 亿张图像的大型预训练数据集经过精心收集和整理，来源于网络爬取的数据，确保覆盖各种重要的视觉领域。这种方法建立在 DINO 和 iBOT 的基础上，并进行了多项改进，旨在提高特征的质量和预训练过程的效率。

此外，由这些模型生成的冻结特征在一系列视觉任务上进行了评估，包括粗粒度和细粒度的视觉分类，以及视频理解。这些结果与采用自我监督和弱监督技术的替代方法进行了仔细比较。

Google 的 ViT

Google 的视觉 Transformer (ViT)完全采用了最初在自然语言处理中使用的 Transformer 模型架构，用于图像甚至是面部识别的任务。它采取了一种类似于 Transformer 处理单词序列的方式来处理图像，证明了其在从图像数据中识别相关特征以进行分类和分析目的方面的有效性。此外，视觉 Transformer 将输入图像视为一系列patch，类似于自然语言处理 (NLP) Transformer 生成的一系列词嵌入。

使用视觉 Transformer 框架，图像被视为一系列patch。每个patch被展平成一个单独的向量，类似于在 Transformer 中处理文本数据时使用词嵌入的方法。这种方法赋予 ViT 自主掌握图像结构方面并就类别标签做出预测的能力。

Landing AI 的 LandingLens

LandingLens由 LandingAI 开发，是一个旨在简化计算机视觉模型创建和开发的平台。该平台是 LVM 示例之一，允许用户构建和评估围绕视觉数据的 AI 项目，适用于各种行业，而无需具备深厚的 AI 专业知识或复杂的编程技能。

通过标准化不同的深度学习解决方案，该平台缩短了开发周期，并促进了在全球范围内的无缝扩展。用户可以保持灵活性来自行构建深度学习模型，并在不影响生产效率的情况下微调检测准确性。

因此，通过使用 Landing AI 的 LVM，该平台优先考虑大幅减少开发时间表，将几个月的工作压缩到几周之内，同时简化诸如标注、训练和模型部署等流程。

LandingLens 提供直观的分步用户界面，简化了开发过程，使AI 开发者能够构建特定领域的 LVM，而无需深入的技术专业知识。

大型视觉模型的应用场景有哪些？

LVM 应用场景：今天我们可以在哪些领域使用大型视觉模型？如何将 LVM 整合到不同的行业和业务中？让我们试着找出答案。

大型视觉模型在各个行业中都有应用，从医疗保健和电子商务到安全、零售、娱乐和环境监测，展示了它们在现代技术进步中的多样性和重要性。

内容创作和娱乐：

• 影视和视频编辑：LVM 自动化视频编辑和后期制作的部分工作。

• 游戏开发：它们增强了现实环境和角色的创造。

• 图像和视频增强：这些模型提高了图像和视频的质量。

• 内容审核：LVM 自动检测并标记不适当或有害的视觉内容。

医疗保健和医学影像：

• 疾病诊断：从 X 光片、MRI 或 CT 扫描等医学影像中识别疾病，例如检测肿瘤、骨折或异常。

• 病理学：在病理学中检查组织样本以检测疾病的迹象，如癌症。

• 眼科学：通过分析视网膜图像辅助疾病诊断。

物流和运输：

• 导航和障碍规避：通过解读实时视觉数据，帮助自动驾驶汽车和无人机进行操纵和避障。

• 物流中的 ML：利用 AI 驱动的视觉应用来帮助机器人完成分类、组装和质量检验任务。

安全和监控：

• 面部识别：在安全系统中用于身份验证和追踪目的。

• 行为监控：分析视频流以识别异常或可疑行为。

电子商务和零售：

• 视觉搜索：在电子商务行业中，使顾客能够使用图像而非文本进行产品搜索。

• 库存管理：通过视觉识别技术实现库存监控和管理的自动化。

农业：

• 作物监测与分析：使用无人机或卫星图像监测作物健康状况和生长情况。

• 害虫检测：识别影响作物的害虫和疾病。

环境监测：

• 野生动物追踪：为保护工作识别和追踪野生动物。

• 土地利用和土地覆盖分析：监测随时间变化的土地利用和植被覆盖情况。

总的来说，可以通过压缩和优化技术（如剪枝、量化或蒸馏）将 LVM 定制为边缘设备适用。剪枝消除了多余的或冗余的参数，量化减少了表示每个参数所需的位数，而蒸馏则将知识从大型模型转移到小型模型。

通过采用这些方法和技术，并利用现代AI 技术，LVM 缩小了其大小、内存占用和延迟，同时保持了性能的完整性。这种适应性使它们非常适合并且能够在各种应用和硬件环境中扩展。

大型视觉模型面临的挑战有哪些？

尽管具有巨大的潜力，大型视觉模型 (LVM) 还面临着诸多挑战，必须有效解决这些问题才能促进广泛采用和伦理使用。其中一个关键问题是数据偏见，因为训练在有偏见的数据集上的模型可能会遇到社会偏见。解决这一挑战需要建立措施以确保训练数据的多样性和代表性。

根据诊断影像研究，在 555 个 AI 模型中，研究人员发现 83.1%（461 个模型）存在高度偏见风险 (ROB)。元分析作者还指出，在 71.7%（398 个模型）的样本量不足，并且在 99.1%（550 个模型）的 AL 模型中处理数据复杂性不够充分。

另一个障碍源于 LVM 的可解释性问题，这是由于深度神经网络本身的复杂性造成的。要在这些模型中建立信任，就需要发展方法来清晰地解释和理解它们的决策过程。

此外，无论是训练还是部署，都需要大量的计算资源，这对生成式 AI 初创企业和研究人员来说可能是一个潜在的障碍。随着 LVM 的规模和复杂性的不断增长，确保其可访问性成为了一个重要的考量因素。

最后，隐私问题尤其突出，尤其是在 LVM 用于监控应用的情境下。在利用这项技术的优势与保护个人隐私权利之间找到微妙的平衡对于道德和负责任的部署至关重要。

大型视觉模型 (LVM) 的未来

展望未来，大型视觉模型在AI/ML 开发中的路径充满无限潜力，不仅塑造着技术格局，而且也在改变着各行各业的运作动态。

LVM 发展的增长

在大型视觉模型领域持续的研究和发展努力正准备突破现有界限。工程师们正在积极探索创新的架构、优化技术和训练方法，以提高这些模型的效率和性能。持续努力解决诸如模型可解释性、降低计算需求以及开发节能解决方案等问题有望推动大型视觉模型的发展。

NLP 与 LVM 的结合

大型视觉模型与其他 AI 技术的融合有望创造出协同效应，从而放大人工智能的整体能力。大型视觉模型与自然语言处理 (NLP) 模型之间的合作可能会导致更加全面的 AI 系统，这些系统能够理解和生成视觉和文本信息。此外，大型视觉模型与强化学习技术的融合可能有助于在动态和复杂的环境中做出更高级别的决策。

跨行业的潜力

大型视觉模型在各个行业的潜力深远。在医疗保健领域，这些模型可能会彻底改变诊断、药物发现和个人化医疗，增强医疗专业人员的能力。在制造业，大型视觉模型可以优化质量控制过程，从而提高效率并减少缺陷。

零售业也将受益于这些模型所促进的先进推荐系统和无收银员结账解决方案。此外，大型视觉模型在自动驾驶车辆中的集成可能会推动更安全、更可靠的交通系统的开发。

来自正在进行的研究的思想和技术交叉融合有望产生不仅更强大而且更易获取的解决方案，推动 AI 能力在各个行业的普及，如教育、物流或汽车领域。随着大型视觉模型的不断发展，它们与其它 AI 技术的无缝集成及其对各个领域产生的积极影响预示着一个未来，在那里 AI 成为日常生活不可或缺的一部分，通过智能、效率和定制的精确性提升各项任务。

结论

企业需要为充满 AI 技术的未来做好准备。LLM、LVM 和其他 AI 模型已成为技术领域不可或缺的实体。随着我们拥抱正在进行的研究、期待跨学科合作，并预见它们对各个行业的变革性影响，很明显，大型视觉模型不仅仅是一种工具。这些 AI 模型体现了我们在对待和利用人工智能方法上的范式转变。

—END—

英文原文：https://medium.com/@springs_apps/a-new-era-of-large-vision-models-lvms-after-the-llms-epoch-approach-examples-use-cases-7c41f1aaf5cd

请长按或扫描二维码关注本公众号

喜欢的话，请给我个在看吧！