EISeg(Efficient Interactive Segmentation)是以RITM及EdgeFlow算法为基础,基于飞桨开发的一个高效智能的交互式分割标注软件。涵盖了通用、人像、遥感、医疗、工业质检等不同方向的高质量交互式分割模型,方便开发者快速实现语义及实例标签的标注,降低标注成本。 另外,将EISeg获取到的标注应用到PaddleSeg提供的其他分割模型进行训练,便可得到定制化场景的高精度模型,打通分割任务从数据标注到模型训练及预测的全流程。
前提
建议先用anconda创建一个单独的虚拟环境,避免冲突
首先打开Anaconda Prompt
这里看到默认Conda安装路径,如果想要在默认路径下创建虚拟环境,直接使用如下命令:
conda create -n EISeg python=3.9(python版本要>=3.8)
安装步骤
1. 创建并激活虚拟环境(建议新建虚拟环境)
conda create -n eiseg python=3.8
conda activate eiseg
2. 安装paddlepaddle环境
这里默认安装的CPU版的,如果要安装GPU版,看 paddlepaddle 官方文档:https://www.paddlepaddle.org.cn/
python -m pip install paddlepaddle==2.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
3. 安装eiseg(两种方式)
- pip安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple eiseg --trusted-host pypi.tuna.tsinghua.edu.cn
若启动执行python -m eiseg
报以下错误:
AttributeError: module 'cv2.dnn' has no attribute 'DictValue'
卸载opencv-python,安装opencv-contrib-python即可解决
pip uninstall opencv-python
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-contrib-python --trusted-host pypi.tuna.tsinghua.edu.cn
在虚拟环境中输入python -m eiseg
即可运行。
- 源码
参照EISeg开源网址:https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.6/EISeg
git clone https://github.com/PaddleCV-SIG/EISeg.git
cd /d D:
cd EISeg-develop
pip install -r requirements.txt
运行
python -m eiseg
4. 模型准备
- 需加载*.pdiparams模型文件
模型下载路径:
PaddleSeg/EISeg at release/2.5 · PaddlePaddle/PaddleSeg · GitHub
注意:下载EdgeFlow模型,博主亲自体验过下载第一个模型,在加载这个模型的时候会直接闪退,也没有任何报错,就很奇怪,换成第三个模型进行加载就可以了
NOTE: 将下载的模型结构*.pdmodel
及相应的模型参数*.pdiparams
需要放到同一个目录下,加载模型时只需选择*.pdiparams
结尾的模型参数位置即可, *.pdmodel
会自动加载。在使用EdgeFlow
模型时,请将使用掩膜
关闭,其他模型使用时请勾选使用掩膜
。其中,高精度模型
推荐使用带有显卡的电脑,以便获得更流畅的标注体验。
下载完模型和解压后,像下面这个样子,这里我和虚拟环境的路径放在一起了,也可以放在其他地方
点击打开是
5. 简单使用
5.1 载入训练权重
启动EISeg
后,点击右上角加载网络参数,选择刚刚下载的是高精度的模型
开始加载会出现一系列Running
5.2添加类别标签
在工具右侧点击添加标签按钮,添加自己分割任务中的目标类别。
每添加一个标签都可以自己随便选择一个喜欢的颜色(每个类别用不同的颜色区分):
5.3导出类别标签
然后建议导出标签信息(比如保存到label.txt
文件中),方便下次使用:
简单分析下保存的标签内容,每行代表一个类别的信息,这些信息使用空格进行分隔。比如下面的第一行,1代表类别索引,dog代表类别名称,239 41 41代表这个类别在标注时使用的颜色(RGB三个值)。根据这些信息其实我们一开始就可以自己先构建出这个标签文件,然后直接加载这个标签就行了。
1 dog 239 41 41
2 cat 245 128 6
5.4导入类别标签
同样点击标注
->加载标签列表
,选择上面刚刚讲到的标签文件即可。
5.5标注图片
点击左上角文件
,然后可以选择单张图片进行标注,或者点击打开文件夹
对里面的图片一张张进行标注。
接着先在右侧的标签栏中选择要标注的目标类别,然后在图像的目标中用鼠标左键点一下增加一个正样本(图中会出现一个绿色的星号),然后模型会自动帮我们去抠出它认为的目标。
很明显,模型将人类的胳膊也当成了dog的一部分这是不对的,那么我们可以在胳膊的位置处点击鼠标右键,增加一个负样本点(图中会出现一个红色的星号),然后网络会把标注有负样本的区域给去掉,此时标注的基本就是正确的了。
标注完成后点击空格,会生成该目标的多边形边界(注意里面还包含了目标的bbox信息,即目标检测任务的信息),我们可以在该边界上新增(鼠标在边缘上左键双击)或者删除点(鼠标在边缘点上左键双击),并且拖动这些点的位置进行微调。标注完一张图片后点击保存按钮,然后会在当前文件夹下生成一个label文件夹(文件的输出位置可以在文件->改变标签保存路径更改保存目录)。
5.6生成的标注信息
打开目标标注信息的目录,可以看到针对每张图片会默认会生成3张图片和一个coco.json
文件(这个文件是所有图片共用的,和COCO的json的文件一样)。
- 其中1.png是之前在PASCAL VOC数据中介绍的语义分割mask标签文件(注意,这个文件并没有加上调色板信息。它就是一个灰度图,灰度值对应类别id)可参考我之前写的文章。
- 1_pseudo.png是一个彩色mask标签文件(其实只要1.png就够了),方便可视化。
- 1_foreground.png就是把前景抠出来了,也是方便可视化,感觉没啥用。
- coco.json是MS COCO的数据格式,具体参考我之前讲的MS COCO数据集文章,注意里面还包含了目标的bbox信息,即目标检测任务的信息(说明目标检测任务也能用)
5.7更改标注数据格式
这里默认使用的是MS COCO的数据格式,你也可以设置成JSON保存
格式,就和labelme
标注工具一样,每张图片生成一个json文件。在工具左上角功能
中进行设置。
6 常用快捷键
这里接直接复制官方文档中的快捷键:
部分按键/快捷键 | 功能 |
---|---|
鼠标左键 | 增加正样本点 |
鼠标右键 | 增加负样本点 |
鼠标中键 | 平移图像 |
Ctrl+鼠标中键(滚轮) | 缩放图像 |
S | 切换上一张图 |
F | 切换下一张图 |
Space(空格) | 完成标注/切换状态 |
Ctrl+Z | 撤销 |
Ctrl+Shift+Z | 清除 |
Ctrl+Y | 重做 |
Ctrl+A | 打开图像 |
Shift+A | 打开文件夹 |
E | 打开快捷键表 |
Backspace(退格) | 删除多边形 |
鼠标双击(点) | 删除点 |
鼠标双击(边) | 添加点 |