通过图像理解进行 GUI 控件目标检测

**使用 YOLOv5、YOLOv6、YOLOv7 和 YOLOv8 进行 GUI 元素检测gui-element-detection

**
论文链接

VINS 数据集

相关论文仓库

74 - 《图形用户界面的目标检测：传统方法、深度学习还是两者结合？》（CenterNet、Faster-RCNN、YOLOv3、Xianyu）
72 - 《UIED：一种混合 GUI 元素检测工具》
CenterNet v2

重要论文

72 - 《UIED：一种混合 GUI 元素检测工具》
74 - 《图形用户界面的目标检测：传统方法、深度学习还是两者结合？》
75 - 《通过图像理解进行 GUI 控件检测与意图生成》

数据集

RICO → 72 和 74 篇论文使用：该数据集（仅限 Android）质量较差，需大量预处理才能使用，且其他使用该数据集的作者未公开预处理后的数据。
Image2emmet：非常小的数据集，涵盖 Web 和 Android。
The ReDraw Dataset
VINS Dataset

报告

• 清理数据并将 XML 转换为 TXT（yolo5_format 文件夹）→ 参见 data_cleaning 文件。
• 查看 YOLO 目录下的 readme.md。

---

关键术语说明

• GUI-element Detection → GUI 元素检测
• Old Fashioned or Deep Learning or a Combination? → 传统方法、深度学习还是两者结合？
• Hybrid Tool → 混合工具
• Preprocessing → 预处理
• YOLO5_format → YOLOv5 格式

如需进一步调整或补充，请告诉我！