caffe可视化，包括权重、特征图、输出曲线

 １、权重可视化

# -*- coding: utf-8 -*-
# file:test_extract_weights.py

import numpy as np
import matplotlib.pyplot as plt
import os
import sys
import caffe
deploy_file = "./deploy.prototxt"
model_file  = "./caffenet_train_iter_1000.caffemodel"

#编写一个函数，用于显示各层的参数,padsize用于设置图片间隔空隙,padval用于调整亮度 
def show_weight(data, padsize=1, padval=0):
    #归一化
    data -= data.min()
    data /= data.max()
    
    #根据data中图片数量data.shape[0]，计算最后输出时每行每列图片数n
    n = int(np.ceil(np.sqrt(data.shape[0])))
    # padding = ((图片个数维度的padding),(图片高的padding), (图片宽的padding), ....)
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))
    
    # 先将padding后的data分成n*n张图像
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    # 再将（n, W, n, H）变换成(n*w, n*H)
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
    plt.set_cmap('gray')
    plt.imshow(data)
    plt.imsave("conv2.jpg",data)
    plt.axis('off')

if __name__ == '__main__':

    #初始化caffe		
    net = caffe.Net(deploy_file,model_file,caffe.TEST)
    print [(k, v[0].data.shape) for k, v in net.params.items()]
	
    #第2个卷积层，参数规模为(50,20,5,5)，即50个5*5的1通道filter
    weight = net.params["conv2"][0].data
    print weight.shape
    show_weight(weight.reshape(256*48,5,5)) # [!!!]参数取决于weight.shape

需要准备好３个文件，.caffemodel、delopy.prototxt、test_extract_weights.py,先打印出的参数，这是全部的参数值
[('conv1', (96, 3, 11, 11)), ('conv2', (256, 48, 5, 5)), ('conv3', (384, 256, 3, 3)), ('conv4', (384, 192, 3, 3)), ('conv5', (256, 192, 3, 3)), ('fc6', (4096, 9216)), ('fc7', (4096, 4096)), ('fc8', (1000, 4096))

weight = net.params["conv2"][0].data
print weight.shape
show_weight(weight.reshape(256*48,5,5)) # [!!!]参数取决于weight.shape
可根据上面的值修改reshape(256*48,5,5)，否则会出错。可视化哪一个conv 就要修改weight = net.params["conv2"][0].data中的"conv2"。
执行时命令： python test_extract_weights.py

2、曲线可视化

画loss曲线（参考https://blog.csdn.net/u013989576/article/details/71302244）
 
命令 python plot_training_log.py　 6　 6.png Coating_defect.log

6 ====可以1-6替换
train_loss.png ====自己命名

如果遇到list index out of range问题，如果是画４－７可以，１－３不行，直接重新复制三个画图需要的文件（extract_seconds.py、parse_log.sh‘plot_training_log.py），建立一个文件夹就行。如果画１－３，可行，４－７不行，查Coating_defect.log.train文件会发现少一行数据，在ｌｏｇ日志中加入Iteration 1000, lr = 1e-06，可以补充完数据的一行，根据自己训练的最后一次迭代数据添加。也可能是权限不够的问题，注意查看权限Coating_defect.log.test和Coating_defect.log.train

３、输入图片可视化

# -*- coding: utf-8 -*-
# file:test_extract_data.py

import numpy as np
import matplotlib.pyplot as plt
import os
import sys
import caffe

deploy_file = "./deploy.prototxt"
model_file  = "./caffenet_train_iter_1000.caffemodel"
test_data   = "./2.jpg"
labels_filename = './labels.txt'
#编写一个函数，用于显示各层的参数,padsize用于设置图片间隔空隙,padval用于调整亮度 
def show_data(data, padsize=1, padval=0):
    #归一化
    data -= data.min()
    data /= data.max()

    #根据data中图片数量data.shape[0]，计算最后输出时每行每列图片数n
    n = int(np.ceil(np.sqrt(data.shape[0])))
    # padding = ((图片个数维度的padding),(图片高的padding), (图片宽的padding), ....)
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))

    # 先将padding后的data分成n*n张图像
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    # 再将（n, W, n, H）变换成(n*w, n*H)
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
    plt.set_cmap('gray')
    plt.imshow(data)
    plt.imsave("conv1_data.jpg",data)
    plt.axis('off')


if __name__ == '__main__':

    #如果是用了GPU
    #caffe.set_mode_gpu()

    #初始化caffe 
    net = caffe.Net(deploy_file, model_file, caffe.TEST)

    #数据输入预处理
    # 'data'对应于deploy文件：
    # input: "data"
    # input_dim: 1
    # input_dim: 1
    # input_dim: 28
    # input_dim: 28
    
    transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})

    # python读取的图片文件格式为H×W×K，需转化为K×H×W
    transformer.set_transpose('data', (2, 0, 1))
    transformer.set_mean('data', np.load('./mean.npy').mean(1).mean(1))
    # python中将图片存储为[0, 1]
    # 如果模型输入用的是0~255的原始格式，则需要做以下转换
    transformer.set_raw_scale('data', 255)
   
    # caffe中图片是BGR格式，而原始格式是RGB，所以要转化
    transformer.set_channel_swap('data', (2, 1, 0))

    # 将输入图片格式转化为合适格式（与deploy文件相同）
    net.blobs['data'].reshape(1, 3, 227, 227)

    #读取图片
    #参数color: True(default)是彩色图，False是灰度图
    img = caffe.io.load_image(test_data,color=True)

    # 数据输入、预处理
    net.blobs['data'].data[...] = transformer.preprocess('data', img)

    # 前向迭代，即分类
    out = net.forward()

    # 输出结果为各个可能分类的概率分布
    predicts = out['prob'][0]
    labels = np.loadtxt(labels_filename, str, delimiter='\t')   #读取类别名称文件
    print 'predicted class is:',labels[predicts.argmax()-3]
    

    # 上述'prob'来源于deploy文件：
    # layer {
    # name: "prob

    # bottom: "ip2"
    # top: "prob"
    # }
    #最可能分类
    predict = predicts.argmax()
    print "Result:"
    print predict

    #---------------------------- 显示特征图 -------------------------------
    feature = net.blobs['conv1'].data
    #96表示输出个数　５５，５５特征图大小  注意计算这几个值的大小
    show_data(feature.reshape(96,55,55)) 

注意所需要的基本文件，再添加到当前路径下。

４、结构可视化

虽然caffe自带了可视化框架，但是我认为http://ethereon.github.io/netscope/#/editor比较好用。