Python深度学习（DeepDream）--学习笔记（十九）

8.2 DeepDream

• DeepDream是一种艺术性的图像修改技术，它用到了卷积神经网络学到的表示。DeepDream由Google于2015年夏天首次发布，使用Caffe深度学习库编写实现。它很快在网上引起了轰动，这要归功于它所生成的迷幻图像，图像中充满了算法生成的错觉式伪影、鸟羽毛和狗眼睛。这是DeepDream卷积神经网络在ImageNet上训练的副作用，因为ImageNet中狗和鸟的样本特别多。
• DeepDream算法与卷积神经网络过滤器可视化技术几乎相同，都是反向运行一个卷积神经网络：对卷积神经网络的输入做梯度上升，以便将卷积神经网络靠顶部的某一层的某个过滤器激活最大化。DeepDream使用了相同的想法，但有一下这几个简单的区别：（1）使用DeepDream，我们尝试将所有层的激活最大化，而不是将某一层的激活最大化，因此需要同时将大量特征的可视化混合在一起。（2）不是从空白的、略微带有噪声的输入开始，而是从现有的图像开始，因此所产生的效果能够抓住已经存在的视觉模式，并以某种艺术性的方式将图像元素扭曲。（3）输入图像是在不同的尺度上（叫作八度（octave））进行处理的，这可以提高可视化的质量。

8.2.1 用Keras实现DeepDream

• 将从一个在ImageNet上预训练的卷积神经网络开始。Keras中有许多这样的卷积神经网络：VGG16、VGG19、Xception、ResNet50等。我们可以用其中任何一个来实现DeepDream，但我们选择的卷积神经网络会影响可视化的效果，因为不同的卷积神经网络架构会学到不同的特征。最初发布的DeepDream中使用的卷积神经网络是一个Inception模型，在实践中，人们已经知道Inception能够生成漂亮的DeepDream图像，所以我们将使用Keras内置的Inception V3模型。

# 加载预训练的Inception V3模型
from keras.applications import inception_v3
from keras import backend as K

# 我们不需要训练模型，所以这个命令会禁用所有与训练有关的操作
K.set_learning_phase(0)

# 构建不包括全连接层的Inception V3网络。使用预训练的ImageNet权重来加载模型。
model = inception_v3.InceptionV3(weights='imagenet', include_top=False)

• 接下来，我们要计算损失（loss），即在梯度上升过程中需要最大化的量。在第5章的过滤器可视化中，我们试图将某一层的某个过滤器的值最大化。这里，我们要将多个层的所有过滤器的激活同时最大化。具体来说，就是对一组靠近顶部的层激活的L2范数进行加权求和，然后将其最大化。选择哪些层（以及对它们最终损失的贡献）对生成的可视化结果具有很大的影响，所以我们希望让这些参数变得易于配置。更靠近底部的层生成的是几何图案，而更靠近顶部的层生成的则是从中能够看出某些ImageNet类别（比如鸟和狗）的图案。

# 设置DeepDream配置
# 这个字典将层的名称映射为一个系数，这个系数定量表示该层激活对你要最大化的损失的贡献大小。注意，层的名称硬编码在内置的Inception V3应用中。可以使用model.summary()列出所有层的名称。
layer_contributions = {
   
    'mixed2': 0.2,
    'mixed3': 3.,
    'mixed4': 2.,
    'mixed5': 1.5,
}

# 定义需要最大化的损失
# 创建一个字典，将层的名称映射为层的实例
layer_dict = dict([(layer.name, layer) for layer in model.layers])

loss = K.variable(0.) # 在定义损失时将层的贡献添加到这个标量变量中
for layer_name in layer_contributions:
    coeff = layer_contributions[layer_name]
    # 获取层的输出
    activation = layer_dict[layer_name].output

    scaling