每周五,我们都会在Oxen.ai举办一个名为“ Arxiv Dives ”的公共论文俱乐部,让我们变得更聪明 Oxen 🐂 🧠。这些是小组会议的笔记,供参考。如果您想加入我们的直播,请在此处注册。
如果下面的一些句子或想法感觉不完整,那是因为它们在现场演练中被更深入地覆盖,这更多的是为以后提供参考。请随意跟随视频进行操作。
Arxiv:https://arxiv.org/abs/2304.02643
发布时间:2023 年 4 月
演示
来源: https: //github.com/YavorGIvanov/sam.cpp
背景知识
分割是计算机视觉中的一项重要任务,可以应用于许多不同的用例。
您可以将其视为使用 Photoshop 中的套索/画笔/橡皮擦工具,放大到非常近,然后选择感兴趣对象周围的每个单独像素。
细分用例
会议
模糊背景
自动驾驶汽车
了解视频每一帧中道路、人行道、其他汽车和树木的位置。
图像编辑
Photoshop 或RunwayML等软件 可以自动分割图像的一部分(或者现在重新生成图像的一部分)
体育/直播电视
实时分割球员或演员可以让您在球场上放置数字对象(足球中的第一线,篮球中的时钟)
增强现实
允许您将数字对象放置在具有遮挡的物理世界中。也许是 Meta 在这里付出努力的一个巨大动力。
库存管理
识别货架上的所有产品。
卫星图像
了解洪水、野火、土地与水、天气模式。
介绍
Meta 引入了一种名为“Segment Anything”(SA)的模型,以及 1100 万张许可且尊重隐私的图像上的 10 亿个掩模的数据集。
该模型旨在“快速”,以便用户轻松交互。如果您从法学硕士的角度来看,此设置中的提示可能会令人困惑。他们使用点击和边界框作为生成蒙版的提示。您还可以训练系统接受文本提示。
计算机视觉具有 CLIP 和 ALIGN 等基础模型,用于训练 DALLE 和 Stable Diffusion 等模型来对齐文本和图像。这些模型是根据图像->文本对(从网络图像中的替代文本中提取)进行训练的,但除此之外,对于其他任务,不存在丰富的训练数据。
三个关键组成部分
- 任务-提示分割
- 模型 - 支持实时提示和输出掩码以供交互使用的架构
- 数据 - 构建网络规模的数据集和“数据引擎”以收集更多数据。