可视化CNN的过滤器

前言

可视化卷积神经网络中学习到的过滤器，一种简单的方法是显示每个过滤器所响应的视觉模式。
这里我们知查看每个卷积块的第一层的前64个滤波器，输出的是8x8的网格，每个网格是64x64像素的过滤器模式，每个过滤器模式之间留有一些黑边。

一、将张量转换为有效图像

import numpy as np

def deprocess_image(x):
    x -= x.mean()
    x /= (x.std() + 1e-5)
    x *= 0.1              # 均值为0， 标准差为0.1

    x += 0.5
    x = np.clip(x, 0, 1)  # 剪切到[0, 1]之间

    x *= 255
    x = np.clip(x, 0, 255).astype('uint8')  # 转换为RGB数组
    return x

二、生成过滤器可视化

from keras import backend as K
from keras.applications import VGG16

model = VGG16(weights='./VGG16_weights.h5',
              include_top=False)
              
def generate_pattern(layer_name, filter_index, size=150):
    layer_output = model.get_layer(layer_name).output
    loss = K.mean(layer_output[:, :, :, filter_index])

    grads = K.gradients(loss, model.input)[0]
    grads /= (K.sqrt(K.mean(K.square(grads))) + 1e-5)
    iterate = K.function([model.input], [loss, grads])
    input_img_data = np.random.random((1, size, size, 3)) * 20 + 128.

    step = 1.
    for i in range(40):
        loss_value, grads_value = iterate([input_img_data])
        input_img_data += grads_value * step

    img = input_img_data[0]
    return deprocess_image(img)

三、生成某一层中所有过滤器响应模式组成的网格

import matplotlib.pyplot as plt

layer_name = 'block1_conv1'
size = 64
margin = 5

results = np.zeros((8 * size + 7 * margin, 8 * size + 7 * margin, 3))
for i in range(8):
    for j in range(8):
        filter_img = generate_pattern(layer_name, i+(j*8), size=size)

        horizontal_start = i * size + i * margin
        horizontal_end = horizontal_start + size
        vertical_start = j * size + j * margin
        vertical_end = vertical_start + size
        results[horizontal_start:horizontal_end, vertical_start:vertical_end, :] = filter_img
plt.figure(figsize=(20, 20))
plt.imshow(deprocess_image(results))
plt.show()

四、可视化结果

block1_conv1：

block2_conv1：

block3_conv1：

block4_conv1：

block5_conv1：

五、结论

• 第一层过滤器对应于简单的方向边缘和颜色
• 第二层过滤器对应于边缘和颜色组合而成的简单纹理
• 更高层的过滤器类似于自然图像中的纹理：羽毛、眼睛、树叶等。

参考文献

• 佛朗索瓦.肖莱著，张亮译. Python深度学习[M]. 人民邮电出版社.2018.8.p136-142.

END