计算机软件ERIC是什么,掌握这个开源工具，更快速地构建计算机视觉模型

来源：雪球App，作者： AI前线，(https://xueqiu.com/9217191040/190056295)

作者 | Eric Hofesmann

译者 | Sambodhi

策划 | 刘燕

本文最初发表于 Towards Data Science 博客，经原作者 Eric Hofesmann 授权，InfoQ 中文站翻译并分享。

最近几年，开源工具在满足端到端平台的许多需求方面取得了很大进步。从模型架构开发到数据集管护(Dataset curation)，再到模型训练和部署，它们都可以扮演一个不可思议的角色。有了充分的挖掘，你就能发现一个开源的工具，可以支持大量的数据和模型生命周期。工具间的紧密集成是实现近乎无缝工作流的最好方法。本文将对 PyTorch Lightning Flash 与数据集可视化和模型分析工具 FiftyOne 之间的集成进行了深入研究。

Lightning Flash 是一个在 PyTorch Lighting 基础上构建的新框架，它提供了快速原型、基线、微调和深度学习解决业务和科学问题的任务集合。尽管 Flash 很容易上手，但是不管你有多少深度学习经验，你都可以通过 Lightning 和 PyTorch 修改已有的任务来寻找适合你的抽象层次。为更快地推进，Flash 的代码是 可扩展的，内建支持任何硬件的分布式训练和推理。

Flash 可以让你的第一个模型变得非常简单，但是要继续改进，你需要知道你的模型的性能和改进方法。FiftyOne 是一个开源工具，由 Voxel51 开发，用来建立高质量数据集和计算机视觉模型。它提供了优化数据集分析管道的构件，允许你亲自操作数据，包括可视化复杂的标签、评估模型、探索感兴趣的场景、确定失败模式、查找注释错误、管护训练数据集等。

有了 Flash+ FiftyOne，你就可以加载资料集，训练模型，然后分析下列所有计算机视觉任务的结果：

图像分类

图像目标检测

图像语义分割

视频分类

嵌入式可视化

概述

Flash 和 FiftyOne 之间的紧密集成允许你执行端到端的工作流，加载数据集，训练它的模型，以及可视化 / 分析它的预测，所有这些都只需要几个简单的代码块。

将 FiftyOne 数据集加载到 Flash

尽管使用 FiftyOne 开发数据集一直都很容易，但是与 PyTorch Lightning Flash 集成后，你就可以将这些数据加载到 Flash 中，直接完成训练任务。

from flash.image import ImageClassificationData

import fiftyone as fo

train_dataset = fo.Dataset.from_dir(

"/path/to/train",

fo.types.ImageClassificationDirectoryTree,

label_field="ground_truth",

)

val_dataset = fo.Dataset.from_dir(

"/path/to/val",

fo.types.ImageClassificationDirectoryTree,

label_field="ground_truth",

)

datamodule = ImageClassificationData.from_fiftyone(

train_dataset=train_dataset,

val_dataset=val_dataset,

label_field="ground_truth",

)

训练 Flash 任务

Flash 提供了你需要的工具，你可以用尽可能少的代码抓取任务的模型，然后从数据上进行微调，最重要的是，不需要成为该领域的专家。

import flash

from flash.core.data.utils import download_data

from flash.image import ImageClassificationData, ImageClassifier

# 1. Download the data

download_data("网页链接 'data/')

# 2. Load the data

datamodule = ImageClassificationData.from_folders(

train_folder="data/hymenoptera_data/train/",

val_folder="data/hymenoptera_data/val/",

test_folder="data/hymenoptera_data/test/",

)

# 3. Build the model

model = ImageClassifier(num_classes=datamodule.num_classes, backbone="resnet18")

# 4. Create the trainer. Run once on data

trainer = flash.Trainer(max_epochs=1)

# 5. Finetune the model

trainer.finetune(model, datamodule=datamodule, strategy="freeze")

# 6. Save it!

trainer.save_checkpoint("image_classification_model.pt")

使用 FiftyOne 可视化 Flash 预测

随着现代数据集的复杂性和规模的增加，图像和视频数据的可视化一直是一个挑战。FiftyOne 的设计目的是提供对数据集和标签的用户友好的视图 (包括注释和模型预测)，现在 Flash 模型可以通过一行额外的代码访问这些数据集和标签。

from flash import Trainer

from flash.core.classification import FiftyOneLabels

from flash.core.integrations.fiftyone import visualize

from flash.video import VideoClassificationData, VideoClassifier

classifier = VideoClassifier.load_from_checkpoint(...)

# Option 1: Generate predictions using a Trainer and datamodule

datamodule = VideoClassificationData.from_folders(

predict_folder="/path/to/folder",

...

)

trainer = Trainer()

classifier.serializer = FiftyOneLabels(return_filepath=True)

predictions = trainer.predict(classifier, datamodule=datamodule)

session = visualize(predictions) # Launch FiftyOne

# Option 2: Generate predictions from model using filepaths

filepaths = ["list", "of", "filepaths"]

predictions = classifier.predict(filepaths)

classifier.serializer = FiftyOneLabels()

session = visualize(predictions, filepaths=filepaths) # Launch FiftyOne

用 FiftyOne 进行可视化 Flash 视频分类预测。

示例工作流

安装

要跟上本文的示例，你需要安装相关的软件包。首先，你需要安装 PyTorch Lightning Flash 和 FiftyOne：

pip install fiftyone lightning-flash

对于嵌入可视化工作流，你还需要安装降维软件包 umap-learn:

pip install umap-learn

通用工作流

使用这些工具的大多数模型开发工作流遵循相同的通用结构：

将数据集加载到 FiftyOne。

从数据集创建 Flash数据模块。

对任务进行微调。

从模型生成预测。

向数据集中添加预测结果并 将其可视化

图像目标检测

本节展示了使用 PyTorch Lightning Flash 和 FiftyOne 之间的这种集成，以训练和评估一个图像目标检测模型的具体示例。

from itertools import chain

import fiftyone as fo

import fiftyone.zoo as foz

from flash import Trainer

from flash.image import ObjectDetectionData, ObjectDetector

from flash.image.detection.serialization import FiftyOneDetectionLabels

# 1. Load your FiftyOne dataset

# Here we use views into one dataset, but you can also create a

# different dataset for each split

dataset = foz.load_zoo_dataset("quickstart", max_samples=40)

train_dataset = dataset.shuffle(seed=51)[:20]

test_dataset = dataset.shuffle(seed=51)[20:25]

val_dataset = dataset.shuffle(seed=51)[25:30]

predict_dataset = dataset.shuffle(seed=51)[30:40]

# 2. Load the Datamodule

datamodule = ObjectDetectionData.from_fiftyone(

train_dataset = train_dataset,

test_dataset = test_dataset,

val_dataset = val_dataset,

predict_dataset = predict_dataset,

label_field = "ground_truth",

batch_size=4,

num_workers=4,

)

# 3. Build the model

model = ObjectDetector(

model="retinanet",

num_classes=datamodule.num_classes,

serializer=FiftyOneDetectionLabels(),

)

# 4. Create the trainer

trainer = Trainer(max_epochs=1, limit_train_batches=1, limit_val_batches=1)

# 5. Finetune the model

trainer.finetune(model, datamodule=datamodule)

# 6. Save it!

trainer.save_checkpoint("object_detection_model.pt")

# 7. Generate predictions

model = ObjectDetector.load_from_checkpoint(

"网页链接

)

model.serializer = FiftyOneDetectionLabels()

predictions = trainer.predict(model, datamodule=datamodule)

predictions = list(chain.from_iterable(predictions)) # flatten batches

# 8. Add predictions to dataset and analyze

predict_dataset.set_values("flash_predictions", predictions)

session = fo.launch_app(view=predict_dataset)

在 FiftyOne 中可视化的 Flash 目标检测预测

在此之后，你可以将预测返回到数据集中，并且可以运行评估来 生成混淆矩阵、PR 曲线，以及 准确率和 mAP 等指标。尤其是，你可以 识别并查看个别的真 / 假正类 / 负类结果)，让你了解你的模型在哪些方面表现良好，哪些方面表现不佳。基于常见失败模式改进模型是开发更好模型的更加可靠的方法。

FiftyOne 中的交互式混淆矩阵

嵌入式可视化

这个工作流的独特之处在于，它采用预训练模型，并使用它们来生成数据集中的每一张图片的嵌入向量。然后，你就可以 在低维空间中计算这些嵌入的可视化，以查找数据集群。这一功能可以为硬样本挖掘、数据注释、注释样本推荐等提供有价值的发现。

有了 交互图 的概念，你可以点击或圈出这些嵌入的区域，并自动更新你的会话，查看和 标记相应的示例。

其他任务

你可以在这里查看其他任务的类似工作流，例如 分类和分割。

总   结

开源社区多年来的发展令人瞩目，特别是在机器学习领域。尽管单独的工具可以很好地解决一个特定的问题，但是它们之间的紧密结合形成了一个强大的工作流。PyTorch Lightning Flash 与 FiftyOne 之间的新集成为开发数据集、训练模型和分析结果提供了一种新的简便方法。

作者介绍：

Eric Hofesmann，Voxel51 机器学习工程师，密歇根大学(University of Michigan)计算机科学硕士。

原文链接：

你也「在看」吗？