【SCRDet++代码调试】windows下调试（重点是“编译 setup.py（rotate) tensorflow版”）

于 2021-01-30 14:32:38 发布
阅读量1.1k 收藏 12
点赞数 1
分类专栏： 论文复现调代码 文章标签： tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dear_jing/article/details/112430309
版权

【SCRDet++代码调试】

一、环境要求

【论文】
【github代码位置】

显卡内存一定要大于等于11G！！！ 如果没有达到，就不要尝试运行代码了……
在这里插入图片描述

二、硬件环境配置

为了使深度学习任务能够更高效地完成，通常使用图形处理器（Graphics processing unit，GPU）来并行处理深度学习中的计算任务。

在台式机GPU市场上，NVIDIA、AMD、Intel占据主导地位。这里使用NVIDIA公司型号为NVIDIA GeForce xxx 的GPU来完成任务。

在使用GPU之前，需要安装必要的驱动程序和环境等。

【说在前面的话】

听说，安装完 GPU 驱动以后，直接在 Anaconda 中安装 tensorflow-gpu 会自动安装匹配的 CUDA Toolkit、cdDNN？

如果有朋友尝试真的可以，麻烦告诉小弟一下！

参考：
1. 为什么深度学习和神经网络需要GPU？
2. 什么是显卡 - 图形处理器和显卡什么区别和联系
3. 英伟达（Nvidia）的图形处理器（GPU）怎样分类的，分别面向什么市场？
4. Win10 Anaconda 下 TensorFlow-GPU 环境搭建详细教程（包含CUDA+cuDNN安装过程）

1、安装 NVIDIA 图形驱动程序

NVIDIA 图形驱动程序是用来驱动 NVIDIA 图形处理器的程序，可在 NVIDIA 官网通过自动更新或手动搜索的方式进行安装（推荐先手动搜索，再自动更新）。

【官方：NVIDIA 驱动程序下载】

2、安装 CUDA Driver

CUDA Driver 是 CUDA 工具包兼容的驱动程序。

CUDA（Compute Unified Device Architecture），是 NVIDIA 推出的运算平台/并行计算框架，只能用于 NVIDIA 旗下的 GPU，只有安装这个框架才能够进行复杂的并行计算（还有一个 cuDNN，是针对深度卷积神经网络的加速库）

安装 CUDA Toolkit 的时候，会默认安装 CUDA Driver

放两个帮助理解的解释：

1. 把 CUDA 想象成 NVIDIA 公司提供的一个计算平台，在这个平台上，可以使用 NVIDIA 公司提供的各种便捷计算工具来进行计算，不需要自己再来开发这些工具。
2. “显卡”是硬件层面的，好比汽车，需要“显卡驱动”这个“人”来驾驶，而 CUDA 就是 NVIDIA 牌汽车上的驾驶辅助系统，帮助驾驶。

显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么？

3、CUDA Toolkit

  1. 【根据自己的 NVIDIA 驱动程序版本，选择对应的 CUDA Toolkit 版本】
    由于SCRDet++ 代码指定了 tensorflow 版本，因此需要根据 tensorflow 版本 选择 对应的 CUDA Toolkit 版本，同时还要保证自己的 NVIDIA 驱动程序版本支持该CUDA Toolkit 版本（把NVIDIA 驱动程序升级到最新版，就不需要考虑这个问题了）。【windows：tensorflow 版本 与 CUDA 版本对应】
  2. 【官网-CUDA Toolkit 10.0 下载】

附：
1. 【BUG修复】：安装 CUDA 时，出现 “此应用无法在你的电脑上运行”的错误提示
2. 需要安装VS，否则可能无法正常进行

4、cuDNN

安装好 CUDA Toolkit 后，需要安装一个专门为深度学习计算设计的软件库 cuDNN，里面提供了很多专门的计算函数，如卷积等。
【根据 tensorflow 版本 选择 对应的 cuDNN 版本】（下载 cuDNN 需要在 NVIDIA 上注册账号，免费的。登陆账号后才能下载）

三、软件环境配置

1、安装 Anaconda

Anaconda 官网，下载安装即可

2、Anaconda 中配置 tensorflow 环境

conda create --name tf_gpu_131 python=3.5.0

conda activate tf_gpu_131

pip install tensorflow-gpu==1.13.1

#还需要安装一些包，运行时按错误提示补充安装即可
opencv：pip install opencv-python
PILL：pip install pillow
tfplot：pip install tensorflow-plot

测试是否能用：
import tensorflow as tf
print(tf.test.is_gpu_available())

附：
1. 【提示错误“ImportError: DLL load failed: 找不到指定的模块”解决办法】
2. 【BUG修复】：linux 系统，pip install tensorflow-plot 出错

四、准备数据集、权重文件

按照【官方README】，需要进行如下操作：

1、Pretrain weights

下载 resnet50_v1, resnet101_v1 pre-trained models ，放在 data/pretrained_weights（地址在README中）

2、Compile

打开libs/box_utils/cython_utils发现目录下有一个“Makefile”帮助文件，接下来需要按照文件中的提示进行。

执行python setup.py build_ext --inplace，会出现错误OSError: The nvcc binary could not be located in your $PATH. Either add it to your path, or set $CUDAHOME

因为原版是在linux中使用的，在linux里可以直接编译，在windows下需要修改setup.py
【参考】：win10编译 Fast R-CNN 所需的setup.py（rotate) tensorflow版

linux 系统上，如果python setup.py build_ext --inplace报错，可以尝试python setup.py build_ext --inplace --force

3、Make tfrecord

  1. 下载 DOTA 数据集
    【下载地址1】
    【下载地址2】

  2. 执行data_crop.py，按照错误提示修改文件位置，大概位置如图。

cd $PATH_ROOT\data\io\DOTA
python data_crop.py

在这里插入图片描述

  1. 执行convert_data_to_tfrecord.py，执行过程如下图。（VOC_dir 需要换成上一张图片中save_dir）
cd $PATH_ROOT/data/io/  
python convert_data_to_tfrecord.py --VOC_dir='/PATH/TO/DOTA/' --xml_dir='labeltxt' --image_dir='images' --save_name='train' --img_format='.png' --dataset='DOTA'

在这里插入图片描述

五、Multi-gpu train

在pycharm中设置好interpreter，之后运行multi_gpu_train.py。出现了这个错误，原因是【显卡内存不够】……（需要显卡的内存是11G，我的电脑是2G……）

在自己电脑上配置了半天，到了最后一步，决定转战Google免费云端环境Colaboratory……

在这里插入图片描述

运行完突然发现 C盘 少了15G……，所以，附一个：【Intellij或者pycharm的缓存目录很大,如何从C盘移动出去?】

六、Test

python test_dota_ms.py --test_dir='/PATH/TO/IMAGES/' --gpus=0,1,2,3,4,5,6,7 -s (visualization, optional) -ms (multi-scale test, optional)

在执行上述语句之后，可能会出现，以下错误：
ValueError: Shape must be rank 0 but is rank 1 for ‘cond/cond/Switch’ (op: ‘Switch’) with input shapes: [6], [6].，解决方法见链接。

附：可能出现的错误及解决方法

  1. 【BUG修复】：安装 CUDA 时，出现 “此应用无法在你的电脑上运行”的错误提示
  2. 【提示错误“ImportError: DLL load failed: 找不到指定的模块”解决办法】
  3. 【BUG修复】：linux 系统，pip install tensorflow-plot 出错
  4. ‘‘tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[?]’’ 如果是直接 git 的代码，出现了这个问题，一般换一个好一点的显卡（显卡内存大一点就可以解决）
  5. ValueError: Shape must be rank 0 but is rank 1 for ‘cond/cond/Switch’ (op: ‘Switch’) with input shapes: [6], [6].
dear_jing
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Ubuntu16.04 配置RCNN，提示The nvcc binary could not be located in your $PATH...错误
qq_43864807的博客
12-23 7901
Ubuntu16.04 配置RCNN 1、提示错误：The nvcc binary could not be ’ EnvironmentError: The nvcc binary could not be located in your $PATH. Either add it to your path, or set $CUDAHOME 如果出现此错误，有可能是没有安装cuda 2、解决方法 sudo apt install nvidia-cuda-toolkit 安装后再进行make编译 3、如果出
Caffe框架的机器学习——安装与问题锦集
qq_42450724的博客
06-17 1375
Ubuntu16.04   python   Faster R-CNN安装教程：一、Caffe安装教程：Ubuntu16.04(CPU)   https://blog.csdn.net/u010193446/article/details/53259294二、Faster R-CNN 的Caffe实现https://www.2cto.com/kf/201706/646213.html三、Faste...
Ubuntu 16.04 测试 tf-faster-rcnn 在CPU下运行
LoveWeeknd
09-14 4136
参考链接： https://blog.csdn.net/sinat_33486980/article/details/81045315 https://github.com/endernewton/tf-faster-rcnn 1、下载anaconda，https://www.anaconda.com/download/#linux 目前最新版本是python 3.7，可以选择最新版下载 ...
复现SCRDet：Towards More Robust Detection for Small, Cluttered and Rotated Objects(ICCV2019)遇到的问题及解决方案
Liaojiajia-Blog
02-08 1426
复现SCRDet网络遇到的问题及解决方案 问题一、OutOfRangeError (see above for traceback) 可能的原因有：数据为空（出问题）或者局部变量没有初始化，初始化局部变量。 一般这种问题都不是代码的问题，请先检查训练数据： \1. 训练数据中图像文件和标注文件数量是否相同 \2. 训练数据中是否有损坏的图片(数量多的话可以用PIL写个简单的加载方法去判断) \3...
代码复现：遥感旋转目标检测（可训练自己的数据集）
hesongzefairy的博客
11-13 4485
follow了上交博士大佬yangxue的两个方法，这篇仅记录复现过程中碰到的问题，具体论文的介绍就不写了，大佬自己的知乎已经写得非常详细了。 SCRDet：https://zhuanlan.zhihu.com/p/107400817 CSL：https://zhuanlan.zhihu.com/p/111493759 复现的第一个方法：https://github.com/DetectionTeamUCAS/R2CNN-Plus-Plus_Tensorflow 在Ubuntu16.04下 1、
python安装模块如何通过setup.py安装(超简单)
09-20
通过运行`setup.py`，我们可以执行一系列自动化任务，包括编译源代码、创建安装包以及将模块安装到Python环境中。 以下是使用`setup.py`安装模块的基本步骤： 1. **打开命令行界面（CMD）**：在Windows系统中，...
setup.py for windows
01-11
win10 下用于编译chinese-ocr项目的setup文件，编译py-faster-rcnn中的cython_nms.pyx，nms_kernel.cu, gpu_nms.pyx模块
Python3.3+ .py编译转.pyd编译工具在线安装
10-10
6. 运行`setup.py`：使用`python setup.py build_ext --inplace`命令编译`.pyx`文件为`.c`源码，然后进一步编译成`.pyd`文件。 关于加密方面，虽然编译成`.pyd`可以提供一定程度的代码保护，因为它不直接显示源代码...
C++编译好的windows版tensorflow2.0（windows10+vs2015+tensorflow2.0）
09-10
在本文中，我们将深入探讨如何在Windows 10操作系统上，使用Visual Studio 2015编译并运行TensorFlow 2.0的C++版本。TensorFlow是一个强大的开源库，用于数值计算和机器学习，它支持多种编程语言，包括C++。在...
Python代码模块加密器：setup.py
04-13
手动将里面的mytest和mytest.py改成你想要加密的.py文件的名称，然后使用cmd，cd到该文件夹后，输入命令"python setup.py build_ext --inplace"回车，即可开始编译，编译后把生成的.c文件和build文件夹删除即可，...
在py-faster-rcnn/lib下make报错 EnvironmentError: The CUDA lib64 path could not be located in /usr/lib64
walle的博客
08-18 1万+
报错： Traceback (most recent call last): File "setup.py", line 59, in CUDA = locate_cuda() File "setup.py", line 56, in locate_cuda raise EnvironmentError('The CUDA %s path could not be
CPU tensorflow Faster-rcnn
weixin_47295990的博客
05-05 263
全部转载于https://blog.csdn.net/sinat_33486980/article/details/81045315 ，为了方便自己查看 以下是内容 官方给出的Faster R-CNN的代码是caffe框架下的，我对caffe不是很了解，一直用的是tensorflow环境，所以去网上找了一下用tensorflow实现的Faster R-CNN。找到了一篇博客https://www...
Ubuntu16.04 安装NVIDIA和CUDA注意事项（所踩的坑）
qq_39407949的博客
08-06 1万+
因为要搞机器学习相关领域，所以装了Ubuntu系统，还要加装Nvidia和cuda两个软件（其实他们都是同一家的）。反复重装了一个多星期，细数之前踩过的坑，总结一下提醒自己也为后来之人提供前车之鉴。 NVIDIA和CUDA安装教程NVIDIA安装常规安装教程安装出现问题及解决方案一、禁用nouveau驱动二、关闭图形界面三、禁用Secure boot四、NVIDIA-SMI has failed because ……五、An NVIDIA kernel module 'nvidia-drm' appears
Faster R-CNN tensorflow版，使用cpu运行demo.py的步骤
旧人旧事的博客
12-02 2270
官方给出的Faster R-CNN的代码是caffe框架下的，我对caffe不是很了解，一直用的是tensorflow环境，所以去网上找了一下用tensorflow实现的Faster R-CNN。找到了一篇博客https://blog.csdn.net/sinat_33486980/article/details/81045315，作者使用的是一个github上Xinlei Chen的tensor...
Faster R-CNN tensorflow版本，cpu下运行demo
热门推荐
村民的菜篮子
07-14 2万+
官方给出的Faster R-CNN的代码是caffe框架下的，我对caffe不是很了解，一直用的是tensorflow环境，所以去网上找了一下用tensorflow实现的Faster R-CNN。找到了一篇博客https://www.cnblogs.com/toone/p/8433581.html，作者使用的是一个github上Xinlei Chen的tensorflow版本的faster rcn...
【深度学习】Faster R-CNN+win10+tensorflow1.12.0+python3.6+CUDA9.0+cudnn7.3配置
NooahH的博客
05-06 2826
Faster R-CNN+win10+tensorflow1.12.0+python3.6+CUDA9.0+cudnn7.3配置一、源码下载二、修改`lib`下部分文件，编译Cython模块三、安装COCO API四、下载数据五、运行demo并测试预训练模型（1）下载预训练模型（2）运行demo（3）测试预训练模型六、基于pascal VOC数据集自己训练模型（1）下载预训练模型和权重（2）训练模...
RCNN（五）：Ubuntu 15.04 配置Faster RCNN
浅小思的博客
08-11 1万+
git地址：https://github.com/rbgirshick/py-faster-rcnn 本文对于git上的要求做了翻译，对于一些可能遇到的坑做了修改。 关于CUDA、CUDNN等软件安装请参照：http://blog.csdn.net/u011587569/article/details/52054168Requirements: softwaresudo apt-get inst
使用setup.py文件编译.pyx文件，命令行语句是什么
最新发布
06-06
如果你想使用`setup.py`文件编译`.pyx`文件，可以按照以下步骤进行： 1. 创建一个名为`setup.py`的文件，文件内容如下（注意修改`Extension`中的文件名和路径）： ```python from distutils.core import setup from distutils.extension import Extension from Cython.Build import cythonize ext_modules = [ Extension("example", ["example.pyx"]) ] setup( name='Example', ext_modules=cythonize(ext_modules), ) ``` 2. 在命令行中进入`setup.py`文件所在的目录，然后运行以下命令： ``` python setup.py build_ext --inplace ``` 这个命令会编译`example.pyx`文件，并生成名为`example.so`的动态链接库文件。 `build_ext`命令用于编译Cython扩展模块，`--inplace`参数指定将编译后的文件输出到当前目录中，而不是默认的`build`目录中。 需要注意的是，编译Cython扩展模块需要安装Cython库和编译环境，如果你还没有安装它们，可以使用以下命令安装： ``` pip install cython sudo apt-get install build-essential ``` 其中，`build-essential`是Linux系统下的编译环境包，如果你使用的是其他操作系统，可以安装相应的编译环境包。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值