Grounded-Segment-Anything实现自动文本标注

项目地址:IDEA-Research/Grounded-Segment-Anything: Grounded-SAM: Marrying Grounding-DINO with Segment Anything & Stable Diffusion & Recognize Anything - Automatically Detect , Segment and Generate Anything (github.com)

 demo地址:

automated-dataset-annotation-and-evaluation-with-grounding-dino-and-sam.ipynb - Colab (google.com)

目录

一:进入上面的demo地址

 1.1 连接GPU

 1.2设置GPU

​ 二:运行代码

 三:查看文件夹

 四:登录roboflow 

4.1根据下面的提示创建数据集 

 4.2上传数据集,支持上传图片、文件夹、视频(YouTube)

 4.3自动标注

4.4导出数据

4.5数据预处理 

4.6数据导出的格式 

五:测试说明

5.1图片测试

5.2视频测试

六:其他说明

一:进入上面的demo地址

进入之后是这样的

 1.1 连接GPU

这边显示已连接,就代表连接了

 1.2设置GPU

可以自己设置GPU的型号

 二:运行代码

既可以逐步点击每段代码旁边的按扭键,逐步执行代码

也可以点击全部运行,一步到位。

 三:查看文件夹

旁边有一个文件夹,会随着代码的执行情况,添加模块,方便大家了解整个代码部分。

 接下来输入roboflow的授权token,它将自动添加数据集到你的workspace

roboflow的一个数据集的网站,在上面创建数据集和管理数据集非常的方便。

下面可能会出现报错,所以将视角转向roboflow的官网,进行接下来的操作。

四:登录roboflow 

Workspace Home (roboflow.com)

 登录之前需要注册一个谷歌账号

然后创建一个项目(数据集)

4.1根据下面的提示创建数据集 

 4.2上传数据集,支持上传图片、文件夹、视频(YouTube)

 4.3自动标注

上传完数据集之后,就可以可以自动标注了

4.4导出数据

数据集标注完之后,可以自己再去微调,觉得没问题之后就选择接收,然后全部加载到数据集之中。

4.5数据预处理 

 可以自定义图片导出的尺寸,还可以支持数据的增强。

4.6数据导出的格式 

roboflow支持多种数据导出的格式,方便我们去根据需求去训练。

若是正常的YOLO格式,选择YOLO Darknet格式就可以了。

五:测试说明

5.1图片测试

在数据进行自动标注的阶段,会有一个prompt可以支持输入,如果做的是目标检测工作的话,prompt输入object就可以了。

如果是偏向应用方面的话,建议还是偏向描述更加详细会更好一些。

5.2视频测试

测试视频的地址:Firefighter uses flare gun to ignite fuels in a successful defensive burning operation - YouTube

 Youtubu视频转MP4

YT1s: Youtube Downloader - Online Youtube Video Converter

需要导入YouTube的视频链接,可以选择每秒抽多少帧进行识别,效果方面的话,也是prompt描述偏向一句话会比单个object的效果更好。

下图是输入prompt为fire的标注效果

 下面这张图的prompt是 a forest is  on fire 识别效果明显比上面的效果好太多了。

六:其他说明

比较局限的就是现在roboflow只支持每个账号每个月1000张图片的自动标注,后续会更新在自己的电脑部署的教程。

七:材料补充

7.1Grouding-dino的视频演示

Grounding DINO: Automated Dataset Annotation and Evaluation | SOTA Zero-Shot Object Detector - YouTube

 

  • 45
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lylsalt

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值