WIN10+VS2015+PY35+CUDA10.1安装caffe与FAST RCNN测试

一开始想在Ubuntu上安装，各种BUG，整了整整一星期，放弃。
现在记录下在win10上安装的过程
个人笔记，免得以后安装的时候麻烦。

一、 Caffe编译

Caffe版本

caffe用C++编写，要想自己使用，必须进行编译。
在WIN10上总共有三个版本的caffe可以进行编译:

• caffe的原始版本链接，
• 是微软的版本（caffe-master)：This branch of Caffe extends BVLC-led Caffe by adding Windows support and other functionalities commonly used by Microsoft’s researchers, 。
• windows版本(caffe-windows)：This branch of Caffe ports the framework to Windows..

前两种方法首先安装依赖项，修改配置文件，然后利用VS等编译器进行编译。本人用前两种方法均以失败告终，各种BUG,待以后闲了再进行研究吧。Windows版本的修改配置文件，然后运行。 最后用的windws版本，直接运行build_win.cmd，成功！

软硬件环境及准备工作

• win10，家庭普通版
• 自带显卡驱动435，一开始直接安的CUDA10.1，编译过程中出错，显示显卡不支持（原因是没有修改配置文件里的显卡设置），装回网上教程里说的CUDA8.0，出错。后来又重装回CUDA10.1。
• CMAKE，不知道有没有发挥作用，反正是装了
• VS2015
• python3.5，之前装的是python3.7，但是caffe_windows只支持2.7与3.5,遂卸载，重装了3.5.
• 预先下载好依赖包libraries_v140_x64_py35_1.1.0.tar.bz2，放到C:\Users\<username>\.caffe\dependencies\download目录下
• 主要参考资料
• 1. RTX2080 + Windows Caffe + CUDA10.0 + vs2015 +cudnn7 配置过程及关键步骤
• 2. Caffe-windows + Cuda10 + cudnn7.3.0 + RTX2080 Ti + Python 3.5 + Win10 + VS2017

编译过程

• 打开caffe-windows/script/build_win.cmd
  修改以下内容：
  

• 使用CUDA的话要指定CUDNN的路径（此时我已经将cuDNN解压放到CUDA安装目录里了）
  

• 打开caffe-windows\cmake下的Cuda.cmake,作如下更改：
  
  
  这部分不修改会出现下面的错误（原因是显卡性能太高，不在支持系列之内）：
  caffe：nvcc fatal : Unsupported gpu architecture 'compute_75’

• 打开C:\Users\<username>\.caffe\dependencies\libraries_v140_x64_py27_1.1.0\libraries\include\boost-1_61\boost\config\compiler下的nvcc.hpp,作如下修改：
  

安装到python site-package

• 安装过程会遇到好多警告，大部分好像都是字体的原因（没仔细看），不出错就好。
  
• 将caffe-windows/python文件夹下的caffe直接粘贴到python_root/lib/site-packages/下面，就可以在python环境直接利用caffe了。

遇到的问题

• 上面一大串，主要是与scikit-img,scipy调用有关的，最后是ImportError: cannot import name ‘Type’。 解决方法，scipy版本不匹配，直接安装了scipy1.0, 出现了其他错误。
• ImportError: No module named 'numpy.testing.decorators’
  numpy版本不匹配，要安装1.16，我安装的是最新的1.17，部分内容不支持。
• D:\caffe-windows\python文件夹下的caffe拷贝到site-package中，如下情况，说明安装成功。
  

总结

• 先是在LINUX下死磕，搞了好长时间，都是各种BUG，以后LINUX还要好好学学。

WIN10下运行 fast RCNN

上面终于完成了caffe的编译，python中import成功，开始进行fast RCNN的调试工作

步骤

• 将caffe_windows/python下内容全部复制到fast-rcnn\caffe-fast-rcnn下。（如果前面已经将编译好的caffe放在site-package下，此步可省略，只要保证能够成功import caffe即可，因为系统会先搜索fast-rcnn\caffe-fast-rcnn，然后在site-package下搜索）
• 由于之前使用python3编译的caffe,这里需要将原始的RBG的python2的代码进行修改。

遇到的问题

将上面的caffe-windows运行fast rcnn出现错误！！！！！

• [libprotobuf ERROR C:\Users\guillaume\work\caffe-builder\build_v140_x64\packages\protobuf\protobuf_download-prefix\src\protobuf_download\src\google\protobuf\text_format.cc:298] Error parsing text-format caffe.NetParameter: 195:21: Message type “caffe.LayerParameter” has no field named “roi_pooling_param”.
  F0826 21:48:56.026396 4468 upgrade_proto.cpp:88] Check failed: ReadProtoFromTextFile(param_file, param) Failed to parse NetParameter file: C:\Users\ziliaoshi\Desktop\fast-rcnn\models\CaffeNet\test.prototxt
  *** Check failure stack trace: ***
  原因是我用的不是直接从fast rcnn目录上直接git的caffe，百度说fast rcnn使用的caffe有一定的修改。检查发现caffe-windows的src/layers目录下没有roi_pooling.cpp和roi_pooling.cu，编译的时候没有包含这两项。即，不同版本的caffe，包含的源码是不同的，旧版本未包含ROI_POOLING层。

重新编译新版本的caffe

这里用的源码地址为：
https://github.com/happynear/caffe-windows
参考博客：
https://www.cnblogs.com/k7k8k91/p/10690414.html
https://blog.csdn.net/xingchenbingbuyu/article/details/72765612

• 编译过程中的一个主要错误是无法打开文件“python36.lib”，利用第一个参考文献的方法无效， 后来直接One simple solution is to rename your python35.lib to python36.lib.，不报错了。

• 过程同样是先修改caffe-windows-ms\windows下的CommonSettings.props文件。
  
  
  

• 然后将一些依赖包下载好，放到windows下的thirdparty文件夹，并将/thirdparty/bin添加进环境变量，

• 编译过程中caffe C2220: 警告被视为错误 - 没有生成“object”文件，对出错的项目做如下更改：
  

最后将\py-caffe-windows-happy\caffe-windows-ms\Build\x64\Release\pycaffe目录下的内容全部复制到site-packages中， fast-rcnn运行成功！

fast RCNN的配置及测试过程参考以下两篇博客

https://blog.csdn.net/happynear/article/details/46822109
https://blog.csdn.net/houwenbin1986/article/details/52495304

20210611更新

准备看faster-rcnn代码，但是之前编译的python3.5环境被删除了，首先在anaconda下创建了虚拟环境python3.5，将上面编译好的caffe正确配置后，出现如下错误：

from ._caffe import Net, SGDSolver, NesterovSolver, AdaGradSolver, 
ImportError: DLL load failed: 找不到指定的模块。

百度有人说重新安装anaconda错误就消失了，所以想着应该不是caffe的问题，应该是环境没配置好，然后：

• 在anaconda之外，重新安装了独立的python3.5环境.
• 在该环境下，按照caffe官方的requirement.txt，安装python库。
  （最后发现不是环境的问题，最重要的是要编译caffe时的第三方库，如下图，添加进环境变量，可能是caffe要调用相应的dll文件，参考https://github.com/happynear/caffe-windows/issues/235）
  
  

安装过程中出现的问题：

• caffe官方requirement的python-dateutil要低于2.0版本，但是pandas要求python-dateutil高于2.0，最后安装高版本的python-dateutil，没有出错。
• 因为是在windows下安装，leveldb库需要手动编译。