Classifying ImageNet: the instant Caffe way

这是一个Caffe关于Classifying Imagenet的接口，做实验前需要先完成Caffe的编译，包括make all, make test, make runtest, make pycaffe。本文为了运行于本机，只做了细微修改和中文说明，原始文件来源于Caffe官网对应的Notebook Examples。http://nbviewer.ipython.org/github/BVLC/caffe/blob/master/examples/classification.ipynb

建议在实验前先运行 ./scripts/download_model_binary.py models/bvlc_reference_caffenet 完成caffemodel的下载，当然也可以执行第一步的命令实现下载，只是会比较慢而已。

---Last update 2015年6月5日

Setup

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

# 切换工作目录到 caffe-master
%cd '/home/ouxinyu/caffe-master'

# Make sure that caffe is on the python path:
caffe_root = './'  # this file is expected to be in {caffe_root}/examples
import sys
sys.path.insert(0, caffe_root + 'python')

import caffe

# Set the right path to your model definition file, pretrained model weights, and the image you would like to classify.
MODEL_FILE = 'models/bvlc_reference_caffenet/deploy.prototxt'
PRETRAINED = 'models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel'
IMAGE_FILE = 'examples/images/cat.jpg'

import os
if not os.path.isfile(PRETRAINED):
    print("Downloading pre-trained CaffeNet model...")
    !scripts/download_model_binary.py models/bvlc_reference_caffenet

/home/ouxinyu/caffe-master

载入Caffe训练好的caffemodel模型

caffe.Classifier是caffe封装的载入网络模型的函数。需要调用配置文件deploy.prototxt，训练好的模型caffemodel，均值文件。此外，还需要将颜色由RGB转换为BGR，颜色规范到[0,255]，并制定图像的大小(256, 256)。

net = caffe.Classifier(MODEL_FILE, PRETRAINED,
                       mean=np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy').mean(1).mean(1),
                       channel_swap=(2,1,0),
                       raw_scale=255,
                       image_dims=(256, 256))

使用CPU进行特征提取和可视化

为了对比，首先使用CPU模式进行运行

caffe.set_mode_cpu()

input_image = caffe.io.load_image(IMAGE_FILE)
plt.imshow(input_image)

<matplotlib.image.AxesImage at 0x7f3c48472e90>

预测结果按照Imagenet2012的论文，默认执行10次预测，并求平均，包括Cropping the Center 、四个 Corners和它们的水平mirrored version。

预测结果的标签来源于默认的synset_words.txt文件，可以通过如下命令获取：~/caffe-master$ sh data/ilsvrc12/get_ilsvrc_aux.sh

prediction = net.predict([input_image])  # predict takes any number of images, and formats them for the Caffe net automatically
print 'prediction shape:', prediction[0].shape
plt.plot(prediction[0])
print 'predicted class:', prediction[0].argmax()

prediction shape: (1000,)
predicted class: 281

下面的代码测试，仅仅使用Cropping the Center，通过设置oversample=False，可以看到结果虽然是一样的，但是还是由细微的差别，可以想象的是，10点预测应该是可以适当改善预测性能。

prediction = net.predict([input_image], oversample=False)
print 'prediction shape:', prediction[0].shape
plt.plot(prediction[0])
print 'predicted class:', prediction[0].argmax()

prediction shape: (1000,)
predicted class: 281

至于执行时间可以看到，10点预测比center only更长一些，不过并不是很多。作者官网用的Intel i5的CPU，执行10点预测的时间是355 ms。

%timeit net.predict([input_image],oversample=False)

1 loops, best of 3: 235 ms per loop

%timeit net.predict([input_image])

1 loops, best of 3: 236 ms per loop

使用GPU进行特征提取和可视化

下面探测执行single image classifying with 输入预处理：

# Resize the image to the standard (256, 256) and oversample net input sized crops.
input_oversampled = caffe.io.oversample([caffe.io.resize_image(input_image, net.image_dims)], net.crop_dims)
# 'data' is the input blob name in the model definition, so we preprocess for that input.
caffe_input = np.asarray([net.transformer.preprocess('data', in_) for in_ in input_oversampled])
# forward() takes keyword args for the input blobs with preprocessed input arrays.
%timeit net.forward(data=caffe_input)

10 loops, best of 3: 204 ms per loop

下面切换到GPU模式来进行对比

caffe.set_mode_gpu()

prediction = net.predict([input_image])
print 'prediction shape:', prediction[0].shape
plt.plot(prediction[0])
print 'prediction class:', prediction[0].argmax()

prediction shape: (1000,)
prediction class: 281

下面都是10点预测的结果，可以明显看到，GPU（GTX 770）比CPU（i7 4790k）快了大约4-5倍。

# Full pipeline timing.
%timeit net.predict([input_image])

10 loops, best of 3: 43.1 ms per loop

# Forward pass timing.
%timeit net.forward(data=caffe_input)

100 loops, best of 3: 17.4 ms per loop