FiftyOne初体验（一）

---

前言

刚刚入门 YOLO 系列模型，尝试了 YOLOv5 和 YOLOv10，但在处理数据集时遇到了不少麻烦。为了更好地可视化和管理数据，我发现了 FiftyOne 这个工具。FiftyOne 是一个强大的数据探索和可视化平台，它能有效地帮助你处理目标检测任务中的数据。使用 FiftyOne，你可以轻松地可视化图像和标注框，迅速筛选出需要分析的数据子集，无论是按类别、标签还是注释等条件。这让数据集的管理和分析变得更加高效，极大地简化了我在 YOLO 模型训练过程中的工作。

---

一、FiftyOne 是什么？

FiftyOne 是一个开源的数据探索和可视化工具，专为机器学习和计算机视觉任务设计。它提供了强大的功能来帮助用户：

可视化和探索图像、视频及其标注数据。
以交互式方式查看和管理数据集。
快速筛选、搜索和分析数据子集，根据类别、标签、注释等条件进行过滤。
生成数据集的统计信息和报告，以帮助理解和优化模型性能。
FiftyOne 支持多种数据格式，包括 COCO、Pascal VOC 和自定义格式，旨在简化数据管理和提高工作效率。

二、使用步骤

1.安装inflate64依赖

代码如下（示例）：

 pip install inflate64
 #可以使用清华源：
 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple inflate64
 #查看是否安装成功
 pip show inflate64

2.安装fiftyone（安装时间有点长）

代码如下（示例）：

pip install fiftyone
#会安装失败，可以使用清华源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fiftyone

该处使用的url网络请求的数据。

3.验证fiftyone安装成功

代码如下（示例）：

python
>>>
>>> import fiftyone as fo
>>>
#（如果没问题，当导入fiftyone时不应有任何输出）

---

三、代码

1、调用图像数据集代码，这个代码不涉及预测框、标注框。只能显示图像信息

代码如下（示例）：

# 创建数据集
import fiftyone as fo
import os
from PIL import Image

# 数据集名称
name = "breast_images1"
# 图像数据目录
data_path = "/home/jovyan/work/xxx/yolov5-5.0/data/Picture_error"
# 创建数据集
dataset = fo.Dataset.from_dir(
    dataset_type=fo.types.ImageDirectory,
    dataset_dir=data_path,
    name=name,
)
# 启动 FiftyOne 应用并展示数据集
session = fo.launch_app()
session.dataset = dataset
# 等待应用加载完成
session.wait()

我们给出了一种调用voc形式的数据集代码形式，这个代码不涉及预测框，只能显示标注框和图像

2、调用图像数据集代码，这个代码不涉及预测框。只能显示图像、标注框信息

代码如下（示例）：

import fiftyone as fo

name = "breast_images1"
# images文件地址
data_path = "thyroid/data/small_area_images"
# xml文件地址
labels_path = "thyroid/data/small_area_xml"  

dataset = fo.Dataset.from_dir(
    dataset_type=fo.types.VOCDetectionDataset,
    data_path=data_path,
    labels_path=labels_path,
    name=name,
)
session = fo.launch_app() # 打开APP
session.dataset = dataset # 添加数据集
session.wait()  # 官网给的示例没有这一句，记得加上，不然程序不会等待，在网页中看不到我们要的效果

3、调用图像数据集代码，这个代码能显示预测框、标注框、图像信息

代码如下（示例）：

import fiftyone as fo
import fiftyone.zoo as foz
import os
import xml.etree.ElementTree as ET
from PIL import Image
from pathlib import Path

def read_predictions_from_xml(xml_dir):
    predictions = {}
    for xml_file in os.listdir(xml_dir):
        if xml_file.endswith('.xml'):
            tree = ET.parse(os.path.join(xml_dir, xml_file))
            root = tree.getroot()
            filename = root.find('filename').text
            detections = []
            for obj in root.findall('object'):
                name = obj.find('name').text
                bbox = obj.find('bndbox')
                xmin = float(bbox.find('xmin').text)
                ymin = float(bbox.find('ymin').text)
                xmax = float(bbox.find('xmax').text)
                ymax = float(bbox.find('ymax').text)
                detections.append({
                    'label': name,
                    'bbox': [xmin, ymin, xmax, ymax]
                })
            predictions[filename] = detections
    return predictions

def read_labels_from_xml(xml_dir):
    labels = {}
    for xml_file in os.listdir(xml_dir):
        if xml_file.endswith('.xml'):
            tree = ET.parse(os.path.join(xml_dir, xml_file))
            root = tree.getroot()
            filename = root.find('filename').text
            labels[filename] = []
            for obj in root.findall('object'):
                name = obj.find('name').text
                bbox = obj.find('bndbox')
                xmin = float(bbox.find('xmin').text)
                ymin = float(bbox.find('ymin').text)
                xmax = float(bbox.find('xmax').text)
                ymax = float(bbox.find('ymax').text)
                labels[filename].append({
                    'label': name,
                    'bbox': [xmin, ymin, xmax, ymax]
                })
    return labels
    

def create_fiftyone_dataset(image_dir, predictions, labels):
    samples = []
    for filename, detection_list in predictions.items():
        img_path = os.path.join(image_dir, filename)
        if not os.path.exists(img_path):
            continue
        img = Image.open(img_path)
        width, height = img.size
        detections = []
        for detection in detection_list:
            label = detection['label']
            bbox = detection['bbox']
            xmin, ymin, xmax, ymax = bbox
            detections.append(
                fo.Detection(
                    label=label,
                    bounding_box=[xmin / width, ymin / height, (xmax - xmin) / width, (ymax - ymin) / height]
                )
            )
        sample = fo.Sample(filepath=img_path)
        sample.metadata = fo.ImageMetadata(width=width, height=height)
        sample["predictions"] = fo.Detections(detections=detections)  # 修改为 "predictions"
        samples.append(sample)
    dataset = fo.Dataset(name="thyroid_dataset")
    dataset.add_samples(samples)
    return dataset
    
def add_label_data_to_dataset(dataset, labels):
    for sample in dataset:
        filename = Path(sample.filepath).name
        if filename in labels:
            metadata = sample.metadata
            width = metadata.width
            height = metadata.height
            label_list = labels[filename]
            detections = []
            for label in label_list:
                label_name = label['label']
                bbox = label['bbox']
                xmin, ymin, xmax, ymax = bbox
                detections.append(
                    fo.Detection(
                        label=label_name,
                        bounding_box=[xmin / width, ymin / height, (xmax - xmin) / width, (ymax - ymin) / height]
                    )
                )
            sample["ground_truth"] = fo.Detections(detections=detections)  # 保持为 "ground_truth"
            sample.save()

# 读取预测和标签数据
prediction_dir = '/home/jovyan/work/zhushanbing/yolov5-5.0/runs/thyroid_result_test/text_xml'
label_dir = '/home/jovyan/work/data/thyroid/thyroid_images/xmls_val'
image_dir = '/home/jovyan/work/data/thyroid/thyroid_images/images_val'

predictions = read_predictions_from_xml(prediction_dir)
labels = read_labels_from_xml(label_dir)

# 创建 FiftyOne 数据集
dataset = create_fiftyone_dataset(image_dir, predictions, labels)

# 添加标签数据到数据集中
add_label_data_to_dataset(dataset, labels)

# 启动 FiftyOne 可视化
session = fo.launch_app(dataset)
session.wait()  # 官网给的示例没有这一句，记得加上，不然程序不会等待，在网页中看不到我们要的效果

---

总结

提示：以上就是今天要讲的内容，本文仅仅简单介绍了FiftyOne的使用，FiftyOne 是一个非常强大的工具，能够大大提升数据处理的效率和准确性。通过熟练掌握 FiftyOne，你可以更好地管理数据集、优化模型性能，并加速项目的进展。如果你在目标检测或其他计算机视觉任务中遇到数据处理的问题，不妨试试 FiftyOne，相信它会给你带来不少帮助。（后续会更新使用FiftyOne遇到的问题）