视频检索——BLSTM(复现方法说明)

0 导语

基于文章Play and Rewind: Optimizing Binary Representations of Videos by Self-Supervised Temporal Hashing的理解以及作者提供的源码，说明一些复现过程中需要注意的问题。
原作者源码地址@github
我们的实现@gitee

1 作者的readme

1.1 简介

An unsupervised hashing model that generates binary codes (+1,-1) for a video sequence. This is just a quick demo for running the training and test. The source code is simple and well commented. Future details about feature extraction and visualization will be added ASAP.

可以为视频序列生成二进制码(+1,-1)的无监督哈希模型。这是运行训练和测试的快速例程，源码很简单。关于特征提取、可视化的更多细节会尽快补上。

1.2 环境要求

Only [Theano] (http://deeplearning.net/software/theano/) is required. In fact, some of the core layers exploit a high-level wrapper [Keras] (https://keras.io/), but the code is not dependent on Keras installation. You may need to install h5py for data loader.

仅需要Theano。事实上一些核心层使用了高级的keras封装，但是代码并不依赖Keras的安装。需要安装h5py模块用于数据加载。

1.3 demo

run Blstm.py

2 复现说明

1. 一些预备知识
   Keras是我们熟知的深度学习框架，那么Theano是什么？
   然后Keras和Theano有什么关系呢？
2. 终端运行python文件的指令直接是python Blstm.py，而不再使用run指令；
3. 看到Blstm中 print " " 可知作者的python版本为2.x，复现时我用的2.7；为避免与系统其他python版本冲突，这里创建conda虚拟空间，并安装需要的Theano框架、numpy、scipy计算库。运行时会警告没有mkl模块，最好也装一下。对了h5py不能忘了。
   几天后补坑，这里安装的numpy需要指定版本≤1.16.2，否则在进行测试时会出现ValueError: Object arrays cannot be loaded when allow_pickle=False 的错误，原因是自Numpy 1.16.3版本发行之后，函数 numpy.load() 和numpy.lib.format.read_array() 采用allow_pickle关键字，现在默认为False以响应CVE-2019-6446 < nvd.nist.gov/vuln/detail / CVE-2019-6446 >。
4. 其他的环境配置不唯一，我是在ubuntu18.04下进行的，Windows应该也可以（不过Windows装Theano略微麻烦一点）

conda create -n py27 python=2.7  # 创建虚拟空间名为py27
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy==1.16.2,scipy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple theano
conda install mkl-service  # 可能不需要
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple h5py

训练过程直接跑就行，测试时把Blstm.py的最后一句True改为False即可。

3 程序修改

3.1 问题：ImportError: cannot import name downsample

这里参考的是无法加载downsample模型的问题
解释的话应该是theano框架更新了downsample的用法。

./data/theano_backend.py line4改成：from theano.tensor.signal.pool import pool_2d
./data/theano_backend.py line638改成：pool_out = pool.pool_2d(x, ws=pool_size, st=strides,
./data/theano_backend.py line643改成：pool_out = pool.pool_2d(x, ws=pool_size, st=strides,

3.2 问题：Please set the correct path to the dataset

这里应该是作者忘了改一下代码里的数据名。

./Blstm.py line40&42的单引号中的文件名分别改为：fcv_train_demo.h5和fcv_test_demo.h5

3.3 IOError: [Errno 2] No such file or directory: ‘results/hidden_1.mat’

测试时出现的问题，因为原来的目录下没有./results文件夹，所以直接新建一个即可，另外如果依旧报错，将 'results/hidden_1.mat’改为 ‘results\hidden_1.mat’，不一定会有这个问题，有些情况下python把 / 当做转义符了。

3.4 训练与测试

作者把训练与测试的代码卸载一起了，因此执行训练和测试时代码需要微调，仅是一些flag的改变而已。

测试时：./Blstm.py的97行改为run_blstm(is_train=False,reload_model=True)；./model.py的128行注释掉。

——————————————————分割线———————————————————————

4 损失函数曲线作图

2019年5月15日补充，源码中没有训练可视化，损失函数的值看不出来变化，加了点程序把损失函数的曲线画出来。

pip install xlwt # 安装excel写入库
import xlwt # Blstm.py和model.py的开头都加上这一句

Blstm.py中，在main之前加上几句

ex=xlwt.Workbook(encoding='utf-8')
sheet = ex.add_sheet('MySheet1')

ex.save('666.xlsx')

具体位置看下图

model.py中，train函数中的try部分，加上

sheet.write(uidx/10,1,train_loss)

具体位置看下图
这样训练完之后，就可以把我们的损失函数数据保存在666.xlsx中，可以进行后续处理了。

画图

import xlrd
import matplotlib.pyplot as plt

wb=xlrd.open_workbook('666.xlsx') # 记得换成自己的路径
x=[]
y=[]
x1=[]
y1=[]
for s in wb.sheets():
    for row in range(s.nrows):
        values = []
        for col in range(s.ncols):
            values.append(s.cell(row,col).value)
        x.append(values[0])
        y.append(values[1])
'''        
for i in range(1800,2001):
    x1.append(x[i])
    y1.append(y[i])
'''
plt.plot(x,y)
plt.title('loss function')
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

上面的是所有数据的曲线，后面的变化几乎看不出来了，可以把18000到20000的曲线再画一下，把上面程序注释的部分展开，再把下面的plt.plot(x,y)该为plt.plot(x1,y1)即可。

18号要拿这个做课程汇报了，加油！！！