Understanding Neural Networks Through Deep Visualization安装

这是Jason Yosinski, Jeff Clune, Anh Nguyen, Thomas Fuchs, and Hod Lipson在2015年出版在Computer Science上的一篇论文，主要讲述的是卷积神经网络可视化。https://github.com/yosinski/deep-visualization-toolbox 为本论文的公开代码，先讲述一下代码的运行环境及步骤，随后会贴出对本论文的理解。

运行环境：linux+caffe

步骤：

Step 0: Compile master branch of caffe

本代码运行的前提是，配置过caffe。因为配置caffe的过程中会出现一些依赖库，正是本代码所需要的。http://blog.csdn.net/u011204487/article/details/51596471是配置caffe的过程。注意Makefile.config中的CPU_ONLY := 1设置。

Step 1: Compile the deconv-deep-vis-toolbox branch of caffe

以下运行是在caffe根目录下

$ git remote add yosinski https://github.com/yosinski/caffe.git
$ git fetch --all
$ git checkout --track -b deconv-deep-vis-toolbox yosinski/deconv-deep-vis-toolbox

#这个地方很有可能报错，提示你更新代码会覆盖本地

#$ git checkout --track -b  yosinski/deconv-deep-vis-toolbox

#$ git checkout --track -b deconv-deep-vis-toolbox

#只需将两个工具包分开下载就好
$ < edit Makefile.config to suit your system if not already done in Step 0 >

#编辑Makefile.config以适合自己的caffe
$ make clean
$ make -j

#这将会是一个漫长的等待，$ make -j4 可以稍微加快一下速度
$ make -j pycaffe

Step 2: Install prerequisites

这是要安装三个python-opencv  scipy  python-skimage东西，在安装 scipy 的时候可能会出现问题，只说可能，可以通过先安装pip来解决。

$ sudo apt-get install python-opencv scipy python-skimage

Step 3: Download and configure Deep Visualization Toolbox code

$ git clone https://github.com/yosinski/deep-visualization-toolbox
$ cd deep-visualization-toolbox

$ cp models/caffenet-yos/settings_local.template-caffenet-yos.py settings_local.py

$ < edit settings_local.py >

#在打开的setting_local.py文件中，有几处要修改成自己的文件路径，一定要看清楚有几处，这个特别重要

$ cd models/caffenet-yos/

$ ./fetch.sh

#这将会是一个极其漫长的等待
$ cd ../..
Step 4: Run it!

$ ./run_toolbox.py

问题1： Step 2的时候安装scipy的时候报错，提示没有scipy模块。查询之后发现安装python-scipy即可（部署的虚机默认是安装该模块）

 问题2：cv2 not found  解决方法pip install opencv-python

问题3：  sudo gedit settings.py 设置caffevis_mode_gpu = False， 否则不使用GPU的话会报错（我们部署的ubuntu虚机不带GPU，可参考 http://www.cnblogs.com/ToBeCoder/p/6491864.html）

这个工具还是挺有意思的，可以看到每层每个神经元的结构和内容，并且可以进行可视化。左上角是输入图片，中间的部分是对图片经过网络(这里是CaffeNet)进行前向传播之后得到feature map的可视化，我们可以通过上下左右控制光标移动，按‘h‘键可以查看按键的功能，我们尝试移动一下光标，看一下conv5的第151个feature map, 左边的中间区域是feature map的放大版本，右侧上方的九张图片是参数化的可视化方法(gradient ascent),这里暂且不提，右侧中间区域就是使用在上面提到的方法，得到的这个feature map的前9张响应图片块，下方是对这几张图片进行反卷积的结果。

 

基本的按键：

e 切换下一张

w 切换上一张

b 对某一个feature map进行反卷积

o 光标不变，切换下一层

u 光标不变，切换上一层

h 打开帮助菜单