开源项目SeeClick安装与使用指南

开源项目SeeClick安装与使用指南

SeeClickThe model, data and code for the visual GUI Agent SeeClick项目地址:https://gitcode.com/gh_mirrors/se/SeeClick

一、项目介绍

SeeClick是一款基于视觉识别技术的图形用户界面(GUI)代理模型，能够理解和操作各种操作系统环境中的元素，包括iOS、Android、macOS、Windows以及Web界面。该项目利用深度学习技术进行GUI元素定位和交互，是自然语言处理(NLP)在UI自动化领域的创新尝试。

• 主要功能: 根据人类指令或描述自动定位并点击屏幕上的元素。
• 兼容性: 支持跨平台多系统操作环境。
• 技术创新点: 结合了图像理解、自然语言处理及人工智能算法。
• 应用场景: UI测试自动化、无障碍辅助工具开发等。

技术亮点:

1. 预训练机制: 基于大量GUI界面数据集进行预训练，增强了模型的泛化能力。
2. 推理效率: 在保持高精度的同时优化了推理速度，适合实时应用。
3. 灵活性: 可以通过微调适应特定场景的需求。

相关资源:

• 预训练数据收集: 提供了用于构建大规模数据集的代码。
• 评估基准: ScreenSpot评价标准，涵盖了多种类型的GUI环境和任务。

二、项目快速启动

为了开始使用SeeClick模型，首先确保你的环境满足以下条件：

• Python >= 3.7
• PyTorch和其他相关依赖包(见requirements.txt)

安装依赖:

pip install -r requirements.txt

环境设置与模型加载:

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-VL-Chat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "SeeClick-ckpt-dir",
    device_map="cuda",
    trust_remote_code=True,
    bf16=True
).eval()
generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-VL-Chat", trust_remote_code=True)

示例代码:

假设你有一张名为test_img.png的UI截图图片，你可以使用下面的Python脚本来获取一个元素的位置：

img_path = "assets/test_img.png"
prompt = "In this UI screenshot, what is the position of the element corresponding to the command '[]' (with point)"
query = tokenizer(prompt.format("ref"))
response_history = model.chat(tokenizer=tokenizer, query=query)
print(response_history)

其中ref应当替换为你想要查询的具体命令。

三、应用案例和最佳实践

案例1: 自动定位菜单选项

通过提供如“切换到Year视图”之类的指令，SeeClick可以准确定位并反馈出对应的按钮位置信息。

实践建议:

• 使用清晰且具体的指令以提高准确性。
• 尽可能使用点定位方式，因为模型主要训练于点击动作预测上。

四、典型生态项目

ScreenSpot: 作为SeeClick的评估框架，ScreenSpot不仅提供了大量的标注数据集，也是一系列GUI元素定位任务的重要参考和基准。这个项目对于扩展SeeClick的应用范围和性能评估至关重要。

请注意，在实际部署时，“SeeClick-ckpt-dir”应该被替换成从HuggingFace下载的实际模型检查点目录路径。此外，根据你的具体需求调整参数和代码片段，以便更好地集成到你自己的项目中去。

SeeClickThe model, data and code for the visual GUI Agent SeeClick项目地址:https://gitcode.com/gh_mirrors/se/SeeClick