欢迎来到最优秀的博客

起源微模型到底是什么？一维标记蝙蝠侠效率额外的好处面向数据的编程这篇文章的目的是介绍我们在 Encord 中用于自动化数据注释的“微模型”方法。我们已将这种方法部署在医学成像、农业、自动驾驶车辆和卫星成像等广泛领域的计算机视觉标记任务中。TLDR；什么：应用于数据分布的小域的低偏差模型。方法：在狭义任务的少数示例上过度拟合深度学习模型。原因：节省数百小时的手工贴标时间。构建检测蝙蝠侠的模型需要多少数据？黑暗骑士愿景这当然取决于您的目标。

它会受到异常值（例如，父亲是 NBA 球员的孩子）和随机性（例如，在不同年龄进入青春期的孩子）的影响。在前面对儿童身高与年龄进行建模的示例中，很明显，抽样更多学校将如何帮助您的模型。例如，如果我们的模型在训练集上的准确率达到 99%，但在测试集上的准确率仅为 55%，那么这将是一个很大的危险信号。套袋法使用复杂的基础模型，并试图 "平滑 "其预测结果，而提升法使用简单的基础模型，并试图 "提升 "其总体复杂度。过度拟合以及一般机器学习的一个关键挑战是，在实际测试之前，我们无法知道模型在新数据上的表现如何。

如果您的工具是建立在 CVAT 的基础上，就像我们合作过的大多数机器视觉团队一样，那么它很快就会被增加的工作量压垮，崩溃的速度比您说梅尔文资本（Melvin Capital）还要快。此外，通过尝试将开源工具生成的训练标签塑造成可查询的数据资产，制作一个好的 API 通常会变得很复杂。如果您是一家专业人工智能公司或投资人工智能的公司，培训数据是您业务的核心，也是您 IP 的重要组成部分。当您第一次构建管道时，这种成本不会立即显现出来，但随着应用程序的增长，可能会对您的团队造成相当大的拖累。

[TOC](【前沿技术杂谈：人机交互 】将人机交互 (HITL) 集成到机器学习应用程序中是必要的，而不是选择。

在 120 分钟的项目中，CVAT 的平均（±SD）标记帧数为 2241±810（不到总数的 10%），而 CdV 的平均（±SD）标记帧数为 10674±5388（p=0.01）。最令人鼓舞的是，注释者中最资深的博士，也就是使用任何注释软件经验最少的人，使用 Encord 的效率提高了 16 倍。当然，通常情况下不会这样。与机器学习模型不同，机器学习模型向毫无戒心的注意力受害者提供狂欢的Netflix节目（错误的赌注是你最终观看了一集艾米丽在巴黎），错误或错误诊断溃疡性结肠炎对人们的健康有重大影响。

自动视频注释可以解决其中的大部分问题，减少手动输入，节省时间和金钱，并确保您可以在保持质量一致的同时对更大的数据集进行注释和标记。当在视频中的对象上绘制多边形时，由专有算法支持，该算法在没有表示模型的情况下运行，它可以收紧多边形的周长，插值并跟踪移动对象（例如，人）中的各个部分（在本例中为衣服）。根据我们的经验，在极少数情况下，自动视频注释在视频注释项目中不能发挥有用的作用。自动分割是在对象周围绘制轮廓，然后使用算法自动“捕捉”到对象的轮廓，使轮廓更紧密，更准确地与从一帧到下一帧跟踪的对象和标签对齐。

用于训练机器学习 （ML）、人工智能 （AI） 和其他基于算法的模型的数据集可以是任何东西，从电子表格到视频存储库。数据集只是一种说法，即您拥有一组数据，而不管其格式如何。对于计算机视觉 （CV） 和 ML 模型，数据集通常包含数千张图像或视频，或两者兼而有之。训练基于 ML 的模型来解决特定问题意味着确保您以最合适的格式选择了正确类型的图像或视频，并尽可能使用最高质量的注释和标签来生成所需的结果。劣质数据或数据集中成千上万的不相关图像或视频会对项目产生负面影响。ML 项目通常会在紧迫的时间内完成。

您可以从摘要中选择显示严重异常值的属性，如绿色值。这样就可以分析数据集的质量。它们还提供了一些功能，让你在将数据分成训练、验证和测试数据集时，可以将离群值平均分割，或者完全消除离群值。例如，使用 "

想象一下，您正在建造一个可以收集地面垃圾的自主机器人。作为机器学习工程师，您将负责赋予其在任何环境中检测垃圾的能力。这是一个挑战，但有了正确的检测系统，您将离更清洁的世界更近一步，并且您将建造一个很酷的人工智能机器人。下载开源垃圾数据集后，您意识到您的模型存在多种挑战，并且即使您应用了最先进的模型，性能也很差。这就是我们在这个以数据为中心的人工智能案例研究系列的第一部分中结束的地方。在上一篇文章中，我们分析了 TACO 数据集和标签，发现该数据集存在很多问题。

对象跟踪涉及一种算法，用于跟踪目标对象的运动，并预测图像或视频中对象的位置和其他相关信息。对象跟踪与对象检测不同（许多人会熟悉 YOLO 算法）：对象检测仅限于单个帧或图像，并且仅在输入图像中存在感兴趣的对象时才有效，而对象跟踪是一种用于预测目标对象位置的技术， 通过跟踪物体的轨迹，无论它是否存在于图像或视频帧中。对象跟踪算法可以根据任务和它们所训练的输入类型分为不同的类型。Image tracking 图像跟踪Video tracking 视频跟踪。

人体姿态估计 （HPE） 和跟踪是一项计算机视觉任务，随着计算能力和资源的不断增加，它变得越来越容易实施。它需要大量的计算资源和高度准确的算法模型来估计和跟踪人类的姿势和动作。姿态估计涉及检测、关联和跟踪语义关键点。例如人脸上的关键点，例如嘴角、眼角和鼻子。或肘部和膝盖。借助姿态估计，计算机视觉机器学习 （ML） 模型可让您跟踪、注释和估计人类、动物和车辆的运动模式。

投入对项目产出有巨大的影响。在机器学习中，以数据为中心的 AI 方法认识到模型训练所依据的数据的重要性，甚至比所使用的模型或模型集更重要。因此，如果您是从事图像或视频注释项目的注释者，那么创建最准确的标记输入可能意味着成功与失败之间的区别。正确注释图像和图像中的对象将在以后为您节省大量时间和精力。计算机视觉模型和工具还不够智能，无法纠正项目手动注释和验证阶段的人为错误。当训练数据集包含的数据被正确标记时，它们更有价值。正如每个注释器团队经理都知道的那样，图像注释比许多人意识到的更加微妙和具有挑战性。

Segment Anything 模型 （SAM） 是由 Meta AI 开发的细分模型。它被认为是计算机视觉的第一个基础模型。SAM在包含数百万张图像和数十亿个掩码的庞大数据语料库上进行了训练，使其非常强大。顾名思义，SAM 能够为各种图像生成准确的分割掩码。SAM 的设计允许它考虑人类提示，使其在 Human In The Loop 注释中特别强大。这些提示可以是多模式的：它们可以是要分割的区域上的点、要分割的对象周围的边界框，也可以是有关应分割的内容的文本提示。

动态或基于事件的分类是最好的视频注释平台附带的强大功能，无论最初用于标记运动对象的注释类型如何，您都可以使用它们。预处理意味着如果视频出现问题（例如，同步帧问题、视频未正确显示、注释与正确的帧不匹配等），您可以避免重新标记所有内容，从而为您的注释团队节省无数时间以及项目开始时的大量预算。一旦您突出显示了特定对象的轮廓，就可以逐帧跟踪它，从而使基于人工智能的系统或在视频或一系列图像的其余部分中对同一对象进行手动注释变得更加容易。使用最好的视频注释工具，您不会遇到这个问题 - 它们应该能够处理任意长的视频。

在训练计算机视觉模型或任何算法生成的模型时，以数据为中心将重点从模型转移到数据。释放 AI 的真正潜力意味着采购、注释、标记和构建更好的数据集。随着更高质量的数据进入模型，准确性和输出质量可以而且将会显着提高。任何以数据为中心的方法都取决于您获取、注释和标记要放入模型的正确数据的能力。寻找最佳训练数据的重要性如何确定要标记的内容的优先级如何确定在哪个数据子集上开始训练模型如何使用开源工具为计算机视觉应用程序选择数据。

该客户证实，内部资源最好花在其他地方：“在使用 Encord 之前，ML 团队不得不采取安全路线，因为追求失败的新想法的成本很高。正如一位体育分析 Encord 客户发现的那样（在他们找到我们之前），“用于数据注释的内部工具和界面存在局限性：构建和完善需要几个月的时间，结果是一个单一用途的工具。‍在 Encord，我们的计算机视觉主动学习平台被广泛的行业（包括医疗保健、制造、公用事业和智能城市）使用，以注释人体姿势估计视频并加速其计算机视觉模型的开发。我们已经设法使用灵活的 API 构建了相当无缝的集成。

CVAT 是该领域最受欢迎的开源工具之一，自 2021 年以来下载量超过 100 万次 - CVAT 的其他流行的免费图像注释替代品包括 3D Slicer、 Labelimg、VoTT（视觉对象标记工具 - 由 Microsoft 开发）、VIA（VGG 图像注释器）、LabelMe 和 Label Studio。如果您正在开发一个独特的特定于用例的注释项目（例如 DICOM 格式的扫描或需要像素完美注释的高分辨率图像），其他商业图像注释平台将更适合：查看我们的博客探索最佳 DICOM 标签工具。

自大流行以来，无代码和低代码开发市场经历了更快的增长。2020 年，该市场价值超过 100 亿美元，预计 2028 年将达到 940 亿美元，复合年增长率 （CAGR） 为 31.6%。当时，企业没有资源或预算来致力于软件开发项目。因此，最好的解决方案之一是让没有编码技能的团队构建网站、软件和应用程序，而实现这一目标的最佳方法是使用无代码和低代码开发平台。无代码和低代码解决方案已经在多个领域流行起来。然而，鉴于大流行给组织带来的时间和资源限制，有必要寻找许多人以前不会考虑的解决方案。

开源数据注释工具是一款专门为图像和视频数据集的图像标记和数据注释而设计的软件。注释是训练计算机视觉模型的重要组成部分，因为需要标签和数据注释来训练模型以产生组织所需的结果/结果。开源工具可以免费使用。任何人都可以下载和使用它们，因此与软件即服务 (SaaS) 产品不同，无需支付许可费或按月订阅费。开源工具通常由类似于慈善机构的基金会通过社区捐赠或科技公司的赞助来维护。

最终，这会导致注释质量降低，因为注释者会丢失他们正在查看的图像中的重要数据。这似乎是显而易见的，但一个基本的考虑因素是你正在查看的注释工具是否可以原生支持 DICOM 文件（如果它可以原生支持其他文件格式，如 NIfTI），它也会有所帮助）。因此，如果您得出的结论是需要更好的解决方案来标记医学图像（尤其是 DICOM 或 NIfTI 格式），那么您将四处寻找图像标记工具。因此，为了帮助您找到合适的平台，我们创建了一份指南，介绍您在选择用于注释和标记 DICOM 图像的工具时需要寻找的七个功能。

OpenAI 最近的一份报告发现，到 2030 年，训练大型 AI 模型的成本预计将从 1 亿美元上升到 5 亿美元。这是一个惊人的增长，这意味着只有最富有的公司和个人才能负担得起开发和使用人工智能技术的费用。然而，随着人工智能模型训练成本的不断上升，未来可能只有最富有的公司和个人才有能力开发和使用人工智能技术。根据 OpenAI 最近的一份报告，到 2030 年，训练大型 AI 模型的成本将从 1 亿美元上升到 5 亿美元。值得注意的是，人工智能的开发成本并不是决定谁有能力使用人工智能技术的唯一因素。

与大多数欧盟立法一样，《人工智能法》起源于欧盟的一系列委员会。该法案是两个机构的心血结晶，即欧洲内部市场和消费者保护委员会（“IMCO”）和公民自由、司法和内政委员会（“LIBE”），这两个委员会似乎比开发人员更喜欢冗长的缩写词，它们于 2021 年 4 月 21 日首次通过欧盟委员会提出了该法案。既然我们已经解决了这个问题，下面我们就来谈谈人工智能的一些法律定义🎉。

迁移学习通常是指将针对一个问题训练的模型以某种方式用于第二个相关问题的过程。在深度学习中，迁移学习是一种技术，通过这种技术，神经网络模型首先在与正在解决的问题类似的问题上得到训练。然后将训练过的模型中的一个或多个层用于针对相关问题训练的新模型中。迁移学习是计算机视觉领域的一种流行方法，因为它能让我们以省时省力的方式建立精确的模型。在迁移学习中，学习过程不是从零开始，而是从解决不同问题时学到的模式开始。这样就能充分利用以前的学习成果，避免从头开始。

什么是图像分割？了解语义分割数据采集语义分割的深度学习实现全卷积网络上采样跳跃连接U-NetDeepLab多尺度物体检测金字塔场景解析网络（PSPNet）语义分割的应用医学影像自动驾驶汽车农业图片处理语义分割的缺点使用 Encord 加速细分语义分割：关键要点计算机视觉算法旨在从图像和视频中提取重要信息。其中一项任务是语义分割，它提供有关图像中各种实体的粒度信息。在继续之前，我们先简要介绍一下图像分割的总体情况。图像分割模型使机器能够理解图像中的视觉信息。

在深度学习领域，卷积神经网络（CNN）彻底改变了视觉分析领域。凭借从图像中提取复杂模式和特征的能力，CNN 已成为图像分类、目标检测和面部识别等任务不可或缺的一部分。本文全面概述了 CNN，探讨了其架构、训练过程、应用和优势。从理解卷积层到掌握池化层和全连接层的力量，深入研究 CNN 的世界，发现它们如何改变人工智能时代的视觉分析。

中进一步深入探讨了编程能力，其中我们将 MPT-30B、MPT-30B-Instruct 和 MPT-30B-Chat 的 HumanEval 分数与现有开源模型（包括为代码生成而设计的模型）进行了比较。我们还创建了 MPT-30B-Chat，这是 MPT-30B 的对话版本。今天，我们很高兴通过 MPT-30B 扩展 MosaicML 基础系列，MPT-30B 是一种获得商业用途许可的新型开源模型，其功能明显比 MPT-7B 更强大，并且性能优于原始的 GPT-3。请继续关注我们的基础系列中的更多型号！

很少有技术发展能像 OpenAI 发布 ChatGPT 那样迅速和鲜明地抓住公众的想象力。在推出后的两个月内，它就获得了超过 1 亿用户，这是历史上最快的公共应用程序。虽然许多人认为 ChatGPT 在技术上是一次飞跃，但它真正的火花并不是基于巨大的技术进步（GPT3，它所基于的模型已经存在了近 3 年），而是因为它是一个人工智能应用程序，完美地针对个人人类互动进行了校准。正是它作为一个人工智能系统的炫耀性，可以展示现实世界的价值，让公众如此敬畏。

现在是一个非常激动人心的时刻，因为我们将深入的研究和突破转化为真正帮助人们的产品。这就是我们在大型语言模型方面所经历的旅程。两年前，我们推出了下一代语言和对话功能，由对话应用程序语言模型（简称 LaMDA）提供支持。我们一直在开发一项实验性的对话式 AI 服务，由 LaMDA 提供支持，我们称之为 Bard。今天，我们又向前迈进了一步，在未来几周内向公众更广泛地开放之前，向值得信赖的测试人员开放。Bard 力求将世界知识的广度与我们大型语言模型的力量、智慧和创造力相结合。

此外，研究人员还开发了 LayoutXLM，这是一种基于 LayoutLMv2 的多模态预训练模型，但可以执行多语言文档理解，以满足使用各种语言的不同用户的需求。与包含扫描文档图像和数字生成的 PDF 文件的固定布局文档不同，许多基于标记语言的文档（如基于 HTML 的网页和基于 XML 的 Office 文档）通常是实时呈现的。随着时间的推移，文档人工智能的技术进步使其在金融、医疗保健、能源、政府服务和物流等各个行业的应用，为这些行业的人们节省了大量时间，因为他们现在可以避免手动处理。

在其中，由Xinlong Wang，Xiaosong Zhang，Tue Cao，温 Wang，Chunhua Shen和Tiejun Huang组成的BAAI团队展示了计算机视觉挑战难题的另一部分：一个通才模型，允许通过上下文推理解决图像和视频中的一系列分割任务。现有模型的问题在于，切换到新模式或分割视频而不是图像中的对象需要训练新模型。您还可以设置 SegGPT，以便随着注释者完善和纠正其辅助标记，它会随着时间的推移进行学习和改进，从而随着时间的推移获得更好的性能并进一步简化注释过程。

监督学习是一种机器学习，算法从标记数据中学习以进行预测。简单来说，这就像教机器根据您提供的示例识别数据中的模式或关系。这些示例（也称为训练数据）由输入特征及其相应的目标标签组成。目标是构建一个模型来从这些训练数据中学习，以便对新的、看不见的数据进行准确的预测或分类。在机器学习中，通常有四种主要的学习范式：监督学习、自我监督学习、无监督学习和强化学习。与监督学习相反，无监督学习处理数据集中未标记的数据;自监督学习是指模型在没有明确监督或标记的情况下从数据中学习;

通过利用人工智能技术执行数据标注任务，企业可以降低人为错误的风险，提高模型开发的速度和效率，并最大限度地降低与手动标注相关的成本。但是，需要注意的是，自动分割算法的准确性取决于输入数据质量和分割任务的复杂性。通过使用用于自动数据标记的注释工具，组织可以减少为机器学习模型创建高质量训练数据集所需的时间和成本。但是，重要的是要确保所使用的工具适合特定任务，并且标记的数据经过仔细验证和验证以确保其质量。自动数据标记是使用软件工具和算法，使用有助于识别和分类数据的标签或标记来自动注释或标记数据。

无论哪种方式，当您的机器学习团队尝试解决困难的边缘情况并且没有足够的原始数据时，始终可以创建或购买一些可以提高训练模型准确性的合成数据。如果您可以从开源或专有数据集访问所需的数据量，则继续为模型提供数据 - 并相应地调整数据集标签和注释 - 直到它开始生成您需要的结果。现在您已经获得了足够的数据来继续训练和重新训练模型，应该可以开始实现您所需的性能和准确性标准。这些结果将向您展示模型失败的原因和位置。但是，如果这是不可能的，并且您无法从其他开源的真实数据集中获取所需的数据，那么还有另一种解决方案。

在“使用统一文本到文本转换器探索迁移学习的局限性”中，我们提出了一项大规模的实证调查，以确定哪种迁移学习技术最有效，并大规模应用这些见解来创建一个我们称之为文本到文本转换器（T5）的新模型。T5 使用的预训练目标与填空任务更加一致，在填空任务中，模型预测损坏的文本中丢失的单词。现有的预训练数据集无法同时满足这三个标准，例如，维基百科中的文本质量很高，但风格统一，而且对于我们的目的来说相对较小，而 Common Crawl 网络刮痕数据集则非常庞大，而且种类繁多，但质量相当低。单击下面的动画，亲自尝试一下。

在信息技术飞速发展的今天，开源软件已经不仅仅是一个趋势，它已经变成了推动技术革新和软件发展的强大力量。其低成本、高协作性和透明度的特点，为企业和个人提供了前所未有的机会，促进了软件行业的全面繁荣。然而，开源软件的使用也伴随着安全风险和维护的挑战。本文将探讨开源软件如何推动技术创新，它的商业模式，面临的安全风险，未来的发展趋势，以及在各行业的应用案例，以展示开源软件的影响力和价值。

随着算法和模型的改进、计算能力的提升以及数据量的增长，深度学习的应用范围不断扩大，对各行各业产生了深远的影响。深度学习，作为人工智能领域的一个重要分支，已经在多个方面展示了其强大的能力，从图像识别到自然语言处理，再到复杂游戏的玩家。深度学习与人类的智能交互是一个日益受到关注的研究领域，它不仅涉及到技术的发展，也触及到人工智能如何更深入地理解和模拟人类行为和思维过程的问题。深度学习的起源可以追溯到上世纪50年代的神经网络研究，但直到近十年，随着计算能力的提升和数据量的增加，深度学习才真正蓬勃发展。

优化此步骤不仅大大减少了完成数据准备过程所需的时间，而且还产生了更高质量的数据，这反过来又提高了模型的准确性及其性能，从而节省了您以后的时间——因此，在此步骤中进行投资非常重要，而刚起步的团队往往会忽略这一点。强化学习算法的一个真实例子是无人驾驶汽车的开发——系统通过与环境交互来学习，以执行给定的任务，从以前的经验中学习，并进行改进。在这两种情况下，输入数据的质量都会显着影响模型的整体成功——因为模型是从数据中学习的，低质量的训练数据可能会导致模型在投入使用后无法达到预期的效果。现实世界的数据是混乱的；

什么是 C 统计量？权重统计显著性一致性统计量等于ROC曲线下的面积。c统计量(有时称为“一致性”统计量或c指数)是对逻辑回归模型中二元结果的拟合优度的度量。在临床研究中，c -统计量给出了随机选择的经历过某一事件(如疾病或状况)的患者比没有经历过该事件的患者具有更高风险评分的概率。它等于受试者工作特征(ROC)曲线下的面积，取值范围为0 ~ 1。值低于0.5表示模型非常差。值为0.5意味着模型的预测结果并不比随机机会好。值超过0.7表示模型良好。超过0.8的值表示强模型。

核心概念是使用质量指标以结构化方式对相关主题进行索引、切片和分析，以便在不断启动主动学习周期时执行明智的行动。具体示例：您假设对象“红色”会影响对象检测模型的 mAP 分数。为了测试这个假设，您定义一个质量指标来捕获数据集中每个对象的红色度。根据质量指标，您可以对数据进行切片，以比较红色和非红色对象上的模型性能。考虑计算机视觉质量指标的最佳方法是：为数据集中的各个数据点、标签或模型预测分配值的任何函数。根据设计，质量度量是一类非常抽象的函数，因为随附的方法对于质量度量所表达的特定属性是不可知的。

简单地说，物体检测是计算机在图像中识别和定位物体的能力。这里的直觉是，与人类一样，机器应该了解其参照系内的所有实体。这些实体可能包括人、动物、汽车、树木等。然而，计算机视觉已经取得了长足的进步，如今我们可以看到许多先进的机器学习算法用于异议识别和分割。在向前迈进之前，有必要区分一下什么是物体检测，什么不是物体检测。