文章目录
前言
刚刚入门 YOLO 系列模型,尝试了 YOLOv5 和 YOLOv10,但在处理数据集时遇到了不少麻烦。为了更好地可视化和管理数据,我发现了 FiftyOne 这个工具。FiftyOne 是一个强大的数据探索和可视化平台,它能有效地帮助你处理目标检测任务中的数据。使用 FiftyOne,你可以轻松地可视化图像和标注框,迅速筛选出需要分析的数据子集,无论是按类别、标签还是注释等条件。这让数据集的管理和分析变得更加高效,极大地简化了我在 YOLO 模型训练过程中的工作。
一、FiftyOne 是什么?
FiftyOne 是一个开源的数据探索和可视化工具,专为机器学习和计算机视觉任务设计。它提供了强大的功能来帮助用户:
可视化和探索图像、视频及其标注数据。
以交互式方式查看和管理数据集。
快速筛选、搜索和分析数据子集,根据类别、标签、注释等条件进行过滤。
生成数据集的统计信息和报告,以帮助理解和优化模型性能。
FiftyOne 支持多种数据格式,包括 COCO、Pascal VOC 和自定义格式,旨在简化数据管理和提高工作效率。
二、使用步骤
1.安装inflate64依赖
代码如下(示例):
pip install inflate64
#可以使用清华源:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple inflate64
#查看是否安装成功
pip show inflate64
2.安装fiftyone(安装时间有点长)
代码如下(示例):
pip install fiftyone
#会安装失败,可以使用清华源
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fiftyone
该处使用的url网络请求的数据。
3.验证fiftyone安装成功
代码如下(示例):
python
>>>
>>> import fiftyone as fo
>>>
#(如果没问题,当导入fiftyone时不应有任何输出)
三、代码
1、调用图像数据集代码,这个代码不涉及预测框、标注框。只能显示图像信息
代码如下(示例):
# 创建数据集
import fiftyone as fo
import os
from PIL import Image
# 数据集名称
name = "breast_images1"
# 图像数据目录
data_path = "/home/jovyan/work/xxx/yolov5-5.0/data/Picture_error"
# 创建数据集
dataset = fo.Dataset.from_dir(
dataset_type=fo.types.ImageDirectory,
dataset_dir=data_path,
name=name,
)
# 启动 FiftyOne 应用并展示数据集
session = fo.launch_app()
session.dataset = dataset
# 等待应用加载完成
session.wait()
我们给出了一种调用voc形式的数据集代码形式,这个代码不涉及预测框,只能显示标注框和图像
2、调用图像数据集代码,这个代码不涉及预测框。只能显示图像、标注框信息
代码如下(示例):
import fiftyone as fo
name = "breast_images1"
# images文件地址
data_path = "thyroid/data/small_area_images"
# xml文件地址
labels_path = "thyroid/data/small_area_xml"
dataset = fo.Dataset.from_dir(
dataset_type=fo.types.VOCDetectionDataset,
data_path=data_path,
labels_path=labels_path,
name=name,
)
session = fo.launch_app() # 打开APP
session.dataset = dataset # 添加数据集
session.wait() # 官网给的示例没有这一句,记得加上,不然程序不会等待,在网页中看不到我们要的效果
3、调用图像数据集代码,这个代码能显示预测框、标注框、图像信息
代码如下(示例):
import fiftyone as fo
import fiftyone.zoo as foz
import os
import xml.etree.ElementTree as ET
from PIL import Image
from pathlib import Path
def read_predictions_from_xml(xml_dir):
predictions = {}
for xml_file in os.listdir(xml_dir):
if xml_file.endswith('.xml'):
tree = ET.parse(os.path.join(xml_dir, xml_file))
root = tree.getroot()
filename = root.find('filename').text
detections = []
for obj in root.findall('object'):
name = obj.find('name').text
bbox = obj.find('bndbox')
xmin = float(bbox.find('xmin').text)
ymin = float(bbox.find('ymin').text)
xmax = float(bbox.find('xmax').text)
ymax = float(bbox.find('ymax').text)
detections.append({
'label': name,
'bbox': [xmin, ymin, xmax, ymax]
})
predictions[filename] = detections
return predictions
def read_labels_from_xml(xml_dir):
labels = {}
for xml_file in os.listdir(xml_dir):
if xml_file.endswith('.xml'):
tree = ET.parse(os.path.join(xml_dir, xml_file))
root = tree.getroot()
filename = root.find('filename').text
labels[filename] = []
for obj in root.findall('object'):
name = obj.find('name').text
bbox = obj.find('bndbox')
xmin = float(bbox.find('xmin').text)
ymin = float(bbox.find('ymin').text)
xmax = float(bbox.find('xmax').text)
ymax = float(bbox.find('ymax').text)
labels[filename].append({
'label': name,
'bbox': [xmin, ymin, xmax, ymax]
})
return labels
def create_fiftyone_dataset(image_dir, predictions, labels):
samples = []
for filename, detection_list in predictions.items():
img_path = os.path.join(image_dir, filename)
if not os.path.exists(img_path):
continue
img = Image.open(img_path)
width, height = img.size
detections = []
for detection in detection_list:
label = detection['label']
bbox = detection['bbox']
xmin, ymin, xmax, ymax = bbox
detections.append(
fo.Detection(
label=label,
bounding_box=[xmin / width, ymin / height, (xmax - xmin) / width, (ymax - ymin) / height]
)
)
sample = fo.Sample(filepath=img_path)
sample.metadata = fo.ImageMetadata(width=width, height=height)
sample["predictions"] = fo.Detections(detections=detections) # 修改为 "predictions"
samples.append(sample)
dataset = fo.Dataset(name="thyroid_dataset")
dataset.add_samples(samples)
return dataset
def add_label_data_to_dataset(dataset, labels):
for sample in dataset:
filename = Path(sample.filepath).name
if filename in labels:
metadata = sample.metadata
width = metadata.width
height = metadata.height
label_list = labels[filename]
detections = []
for label in label_list:
label_name = label['label']
bbox = label['bbox']
xmin, ymin, xmax, ymax = bbox
detections.append(
fo.Detection(
label=label_name,
bounding_box=[xmin / width, ymin / height, (xmax - xmin) / width, (ymax - ymin) / height]
)
)
sample["ground_truth"] = fo.Detections(detections=detections) # 保持为 "ground_truth"
sample.save()
# 读取预测和标签数据
prediction_dir = '/home/jovyan/work/zhushanbing/yolov5-5.0/runs/thyroid_result_test/text_xml'
label_dir = '/home/jovyan/work/data/thyroid/thyroid_images/xmls_val'
image_dir = '/home/jovyan/work/data/thyroid/thyroid_images/images_val'
predictions = read_predictions_from_xml(prediction_dir)
labels = read_labels_from_xml(label_dir)
# 创建 FiftyOne 数据集
dataset = create_fiftyone_dataset(image_dir, predictions, labels)
# 添加标签数据到数据集中
add_label_data_to_dataset(dataset, labels)
# 启动 FiftyOne 可视化
session = fo.launch_app(dataset)
session.wait() # 官网给的示例没有这一句,记得加上,不然程序不会等待,在网页中看不到我们要的效果
总结
提示:以上就是今天要讲的内容,本文仅仅简单介绍了FiftyOne的使用,FiftyOne 是一个非常强大的工具,能够大大提升数据处理的效率和准确性。通过熟练掌握 FiftyOne,你可以更好地管理数据集、优化模型性能,并加速项目的进展。如果你在目标检测或其他计算机视觉任务中遇到数据处理的问题,不妨试试 FiftyOne,相信它会给你带来不少帮助。(后续会更新使用FiftyOne遇到的问题)