场景图生成(scene graph generation),github/yrcong/RelTR 代码运行

这周为了跑通yrcong/RelTR: RelTR: Relation Transformer for Scene Graph Generation (github.com)配置环境花了好长时间,这里记录一下。

从github下载项目,按照网站要求:

git clone https://github.com/yrcong/RelTR.git
cd RelTR

之后下载anaconda配置新的环境,记住一定要按照网站要求设置python=3.6,我一开始运行python=3.7一直无法成功。之后下载需要的包。

# create a conda environment 
conda create -n reltr python=3.6
conda activate reltr

# install packages
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch
conda install matplotlib

下载 Scipy和pycocotools,不过应该还需要下载Cython,原文中没有说明。

conda install scipy
conda install Cython
pip install -U 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

如果遇到pip install "git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI"出错可以尝试换成以下代码:

pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI

 之后需要使用setup.py build_ext --inplace命令来进行解析部署需要的包。原文中说的是:

# compile the code computing box intersection
cd lib/fpn
sh make.sh

这里看可以直接使用:

cd lib/fpn/box_intersections_cpu
python setup.py build_ext --inplace

之后就遇到了问题,显示报错"cl.exe' failed: No such file or directory",这是因为其需要用到cl.exe进行编译,需要安装visual studio,这里我装的是2019,如果安装其他版本可能遇到版本不一致的问题。

记得要选右边的MSVC 

之后配置环境,在用户变量中的Path中添加下面这行

 我这里没有用给定的代码训练,下载作者预训练的模型。

之后在inference.py文件中设置图片的路径,测试结果。

 以上图为例:

可以得到上面的结果。 

  • 6
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
### 回答1: 场景生成是指将像或视频中的物体和场景转化为一种形结构,以便计算机能够理解和处理。这种技术可以用于计算机视觉、机器人、虚拟现实等领域。场景生成的过程包括物体检测、物体识别、物体关系建模等步骤,最终生成一张包含物体和它们之间关系的形结构。 ### 回答2: Scene graph generation场景生成)是一种计算机视觉技术。它的目的是将像中的对象及其关系转化成为一种语义结构、层次表,以便计算机更好地理解像内容。这种技术是自动化场景理解的基础。在深度学习领域,基于神经网络的场景生成技术由于其高度的可解释性已经成为了研究的热点。 场景是一种形式化的描述像语义的方法,通过将像中的各种元素(物体、人、颜色、位置、关系等)组织成一种树形结构,来表示像中物体的属性、关系和语义信息。它不仅可以支持对特定物体的检测和识别,还可以将物体之间的关系进行建模。这种方法可以被用于像检索、目标跟踪、可视化以及更高级别的任务,如像问答和基于像的推理。 生成 scene graph 的技术可以分为两种:基于目标检测的方法和基于全局信息的方法。基于目标检测的方法是利用物体检测器来先分别找到物体,再整合场景;而基于全局信息的方法是直接提取像中物体和它们之间的关系的特征,为每个对象生成一个向量,然后用这些向量生成场景。这两种方法各有优缺点,实际应用中需要根据实际情况来选择。 总之,场景生成技术是计算机视觉领域的热门研究方向,它在像理解、人机交互、自动驾驶、机器人等领域都有着广泛的应用价值。 ### 回答3: 场景Scene Graph)是指一种数据结构,它描述了场景中的物体、他们的关系、以及物体之间的作用。而场景生成Scene Graph Generation)是指将像或视频中的内容转换为类似场景的结构的任务。场景生成通常涉及物体检测、实例分割、语义分割等计算机视觉任务。 场景生成有着广泛的应用,例如像描述生成、视觉问答、像修复、物体识别、目标跟踪等任务。场景还可以被用于智能辅助驾驶系统、机器人视觉导航和处理3D模型等领域。 实现场景生成的方法有许多,其中主要包括基于模板的方法、基于神经网络的方法以及基于像和视频分析的方法。在基于模板的方法中,人们会根据已有的场景模板来填充场景中的物体和关系。在基于神经网络的方法中,人们会使用深度学习模型来自动地检测和分割像或视频中的物体,并从中提取出物体之间的关系。而基于像和视频分析的方法,则通过对像或视频进行语义分析、物体检测以及像分割,提取出场景中的各个元素,进而生成场景。 然而,场景生成仍然是一个非常挑战的任务,存在许多问题需要被解决。例如,如何处理多个物体之间的复杂关系、如何消除物体之间的干扰、如何处理像中遮挡的问题等等。因此,对于场景生成,仍然存在大量的研究的空间和需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值