简介
本系统是室内全景布局标注的半自动工具。它可以快速标注室内全景图形成3D标注结果。由Python3编程实现,并使用PyQt作为GUI框架以及使用OpenGL来渲染图形图像。
设置
环境配置:
●Python >= 3.6
●tensorflow >= 1.10/pytorch>=1.0.0
●shapely/torchvision/scipy
●PyQt5 / PyOpenGL
●Numpy / Pillow / scikit-image
●opencv-python>=3.1/open3d>=0.7
下载预先训练的模型
下载我们预先训练的深度神经网络模型权重,并复制到./estimator/depth/models/trained
设置环境
您可以自行配置环境。如果您已经安装了Anaconda,您可以通过以下代码激活环境:
conda env create -f ./scripts/annotator_env.yml
activate Annotator
启动软件
python ./MainWindow.py
预处理
标注的是曼哈顿对齐的RGB全景图。其中边缘检测图和方向图是可选的。任意一张室内全景图需要经过曼哈顿对齐算法校正。校正过程中需要先进行边缘检测以得到VP点,然后将VP点和原图像进行校正。只有在校正后的曼哈顿布局全景图才能够作为我们标注的对象。校正算法位于algorithm文件夹下的panoalign.py文件。
批量标注配置
在启动工具并开始批量标注之前,您需要将批量的数据格式化。我们默认的工作空间是D:/PanoAnnotator,您需要将数据和标签文件夹分别命名为img和label_cor。格式化工具位于algorithm文件夹下的formadir.py文件,启动该文件您就可以得到可批量化标注的数据了。将格式化好的文件复制到该路径下。如下所示:
开始
在完成批量数据导入工作后,启动该工具后,您将看到下面的界面。
- PanoView:显示全景图和当前标注(标注以蓝色线条显示)。
- MonoVIew:显示3D视角下的全景图和当前标注。
- ResultView:在3D空间中显示当前标注结果。
- ListView:在一个列表中显示当前标注项。
第一次启动会默认选择ID最小的全景图进行标注。在后续任务中,我们的日志文件系统将会记录标注的关键操作,以此来追溯我们的标注记录。在下一次打开标注工具时,系统将会自动加载上一次标注的图像,这将我们批量标注的工作提供连续性的可能。
操作方法
结果审查
保存和加载
如何标注
资源链接
下半部分内容详见:
半自动室内整体布局标注系统(下)
半自动室内整体布局标注系统(资源链接)