手把手教你使用VGG19做图像风格迁移

最新推荐文章于 2024-05-25 13:10:20 发布
最新推荐文章于 2024-05-25 13:10:20 发布
阅读量7k 收藏 75
点赞数 11
文章标签： 卷积 tensorflow 深度学习 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZXY115019/article/details/103572951
版权

2fc049a33dce679d9e8d08bec946d1c1.png

前面文章中介绍了使用VGG19做图像风格迁移的基本原理，这篇文章中将为大家介绍使用tensorflow的VGG19版本做图像风格迁移的实验，教大家手把手进行图像的风格迁移。

项目代码使用的是下面链接中的代码，大家可以自行前往下载：

https://github.com/AaronJny/nerual_style_change

a2bee5dac00c456857d802a012c3460d.jpeg

一

文件目录介绍

下载完成后解压得到的文件目录如下：

2c3235c43c5a8e9e958bd88ca7e22e6a.png

其中

images——风格图像和内容图像储存目录

sample——风格图像、内容图像和迁移图像的实例

models.py——VGG19模型文件

settings.py——参数设置文件

train.py——模型训练文件

images文件夹下共包含两幅图像content.jpg和style.jpg分别为内容图像和风格图像：

d95da3654155276ec9da82f95a55d96c.png

二

代码介绍

2.1 models.py介绍

# -*- coding: utf-8 -*-

import tensorflow as tf

import numpy as np

import settings

import scipy.io

import scipy.misc

class Model(object):

    def __init__(self, content_path, style_path):

        self.content = self.loadimg(content_path)  # 加载内容图片

        self.style = self.loadimg(style_path)  # 加载风格图片

        self.random_img = self.get_random_img()  # 生成噪音内容图片

        self.net = self.vggnet()  # 建立vgg网络

    def vggnet(self):

        # 读取预训练的vgg模型

        vgg = scipy.io.loadmat(settings.VGG_MODEL_PATH)

        vgg_layers = vgg['layers'][0]

        net = {}

        # 使用预训练的模型参数构建vgg网络的卷积层和池化层

        # 全连接层不需要

        # 注意，除了input之外，这里参数都为constant，即常量

        # 和平时不同，我们并不训练vgg的参数，它们保持不变

        # 需要进行训练的是input，它即是我们最终生成的图像

        net['input'] = tf.Variable(np.zeros([1, settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH, 3]), dtype=tf.float32)

        # 参数对应的层数可以参考vgg模型图

        net['conv1_1'] = self.conv_relu(net['input'], self.get_wb(vgg_layers, 0))

        net['conv1_2'] = self.conv_relu(net['conv1_1'], self.get_wb(vgg_layers, 2))

        net['pool1'] = self.pool(net['conv1_2'])

        net['conv2_1'] = self.conv_relu(net['pool1'], self.get_wb(vgg_layers, 5))

        net['conv2_2'] = self.conv_relu(net['conv2_1'], self.get_wb(vgg_layers, 7))

        net['pool2'] = self.pool(net['conv2_2'])

        net['conv3_1'] = self.conv_relu(net['pool2'], self.get_wb(vgg_layers, 10))

        net['conv3_2'] = self.conv_relu(net['conv3_1'], self.get_wb(vgg_layers, 12))

        net['conv3_3'] = self.conv_relu(net['conv3_2'], self.get_wb(vgg_layers, 14))

        net['conv3_4'] = self.conv_relu(net['conv3_3'], self.get_wb(vgg_layers, 16))

        net['pool3'] = self.pool(net['conv3_4'])

        net['conv4_1'] = self.conv_relu(net['pool3'], self.get_wb(vgg_layers, 19))

        net['conv4_2'] = self.conv_relu(net['conv4_1'], self.get_wb(vgg_layers, 21))

        net['conv4_3'] = self.conv_relu(net['conv4_2'], self.get_wb(vgg_layers, 23))

        net['conv4_4'] = self.conv_relu(net['conv4_3'], self.get_wb(vgg_layers, 25))

        net['pool4'] = self.pool(net['conv4_4'])

        net['conv5_1'] = self.conv_relu(net['pool4'], self.get_wb(vgg_layers, 28))

        net['conv5_2'] = self.conv_relu(net['conv5_1'], self.get_wb(vgg_layers, 30))

        net['conv5_3'] = self.conv_relu(net['conv5_2'], self.get_wb(vgg_layers, 32))

        net['conv5_4'] = self.conv_relu(net['conv5_3'], self.get_wb(vgg_layers, 34))

        net['pool5'] = self.pool(net['conv5_4'])

        return net

    def conv_relu(self, input, wb):

        """

        进行先卷积、后relu的运算

        :param input: 输入层

        :param wb: wb[0],wb[1] == w,b

        :return: relu后的结果

        """

        conv = tf.nn.conv2d(input, wb[0], strides=[1, 1, 1, 1], padding='SAME')

        relu = tf.nn.relu(conv + wb[1])

        return relu

    def pool(self, input):

        """

        进行max_pool操作

        :param input: 输入层

        :return: 池化后的结果

        """

        return tf.nn.max_pool(input, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

    def get_wb(self, layers, i):

        """

        从预训练好的vgg模型中读取参数

        :param layers: 训练好的vgg模型

        :param i: vgg指定层数

        :return: 该层的w,b

        """

        w = tf.constant(layers[i][0][0][0][0][0])

        bias = layers[i][0][0][0][0][1]

        b = tf.constant(np.reshape(bias, (bias.size)))

        return w, b

    def get_random_img(self):

        """

        根据噪音和内容图片，生成一张随机图片

        :return:

        """

        noise_image = np.random.uniform(-20, 20, [1, settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH, 3])

        random_img = noise_image * settings.NOISE + self.content * (1 - settings.NOISE)

        return random_img

    def loadimg(self, path):

        """

        加载一张图片，将其转化为符合要求的格式

        :param path:

        :return:

        """

        # 读取图片

        image = scipy.misc.imread(path)

        # 重新设定图片大小

        image = scipy.misc.imresize(image, [settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH])

        # 改变数组形状，其实就是把它变成一个batch_size=1的batch

        image = np.reshape(image, (1, settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH, 3))

        # 减去均值，使其数据分布接近0

        image = image - settings.IMAGE_MEAN_VALUE

        return image

if __name__ == '__main__':

    Model(settings.CONTENT_IMAGE, settings.STYLE_IMAGE)

2.2 settings.py介绍

# -*- coding: utf-8 -*-

# 内容图片路径

CONTENT_IMAGE = 'images/content.jpg'

# 风格图片路径

STYLE_IMAGE = 'images/style.jpg'

# 输出图片路径

OUTPUT_IMAGE = 'output/output'

# 预训练的vgg模型路径

VGG_MODEL_PATH = 'imagenet-vgg-verydeep-19.mat'

# 图片宽度

IMAGE_WIDTH = 450

# 图片高度

IMAGE_HEIGHT = 300

# 定义计算内容损失的vgg层名称及对应权重的列表

CONTENT_LOSS_LAYERS = [('conv4_2', 0.5),('conv5_2',0.5)]

# 定义计算风格损失的vgg层名称及对应权重的列表

STYLE_LOSS_LAYERS = [('conv1_1', 0.2), ('conv2_1', 0.2), ('conv3_1', 0.2), ('conv4_1', 0.2), ('conv5_1', 0.2)]

# 噪音比率

NOISE = 0.5

# 图片RGB均值

IMAGE_MEAN_VALUE = [128.0, 128.0, 128.0]

# 内容损失权重

ALPHA = 1

# 风格损失权重

BETA = 500

# 训练次数

TRAIN_STEPS = 3000

2.3 train.py介绍

# -*- coding: utf-8 -*-

import tensorflow as tf

import settings

import models

import numpy as np

import scipy.misc

def loss(sess, model):

    """

    定义模型的损失函数

    :param sess: tf session

    :param model: 神经网络模型

    :return: 内容损失和风格损失的加权和损失

    """

    # 先计算内容损失函数

    # 获取定义内容损失的vgg层名称列表及权重

    content_layers = settings.CONTENT_LOSS_LAYERS

    # 将内容图片作为输入，方便后面提取内容图片在各层中的特征矩阵

    sess.run(tf.assign(model.net['input'], model.content))

    # 内容损失累加量

    content_loss = 0.0

    # 逐个取出衡量内容损失的vgg层名称及对应权重

    for layer_name, weight in content_layers:

        # 提取内容图片在layer_name层中的特征矩阵

        p = sess.run(model.net[layer_name])

        # 提取噪音图片在layer_name层中的特征矩阵

        x = model.net[layer_name]

        # 长x宽

        M = p.shape[1] * p.shape[2]

        # 信道数

        N = p.shape[3]

        # 根据公式计算损失，并进行累加

        content_loss += (1.0 / (2 * M * N)) * tf.reduce_sum(tf.pow(p - x, 2)) * weight

    # 将损失对层数取平均

    content_loss /= len(content_layers)

    # 再计算风格损失函数

    style_layers = settings.STYLE_LOSS_LAYERS

    # 将风格图片作为输入，方便后面提取风格图片在各层中的特征矩阵

    sess.run(tf.assign(model.net['input'], model.style))

    # 风格损失累加量

    style_loss = 0.0

    # 逐个取出衡量风格损失的vgg层名称及对应权重

    for layer_name, weight in style_layers:

        # 提取风格图片在layer_name层中的特征矩阵

        a = sess.run(model.net[layer_name])

        # 提取噪音图片在layer_name层中的特征矩阵

        x = model.net[layer_name]

        # 长x宽

        M = a.shape[1] * a.shape[2]

        # 信道数

        N = a.shape[3]

        # 求风格图片特征的gram矩阵

        A = gram(a, M, N)

        # 求噪音图片特征的gram矩阵

        G = gram(x, M, N)

        # 根据公式计算损失，并进行累加

        style_loss += (1.0 / (4 * M * M * N * N)) * tf.reduce_sum(tf.pow(G - A, 2)) * weight

    # 将损失对层数取平均

    style_loss /= len(style_layers)

    # 将内容损失和风格损失加权求和，构成总损失函数

    loss = settings.ALPHA * content_loss + settings.BETA * style_loss

    return loss

def gram(x, size, deep):

    """

    创建给定矩阵的格莱姆矩阵，用来衡量风格

    :param x:给定矩阵

    :param size:矩阵的行数与列数的乘积

    :param deep:矩阵信道数

    :return:格莱姆矩阵

    """

    # 改变shape为（size,deep）

    x = tf.reshape(x, (size, deep))

    # 求xTx

    g = tf.matmul(tf.transpose(x), x)

    return g

def train():

    # 创建一个模型

    model = models.Model(settings.CONTENT_IMAGE, settings.STYLE_IMAGE)

    # 创建session

    with tf.Session() as sess:

        # 全局初始化

        sess.run(tf.global_variables_initializer())

        # 定义损失函数

        cost = loss(sess, model)

        # 创建优化器

        optimizer = tf.train.AdamOptimizer(1.0).minimize(cost)

        # 再初始化一次（主要针对于第一次初始化后又定义的运算，不然可能会报错）

        sess.run(tf.global_variables_initializer())

        # 使用噪声图片进行训练

        sess.run(tf.assign(model.net['input'], model.random_img))

        # 迭代指定次数

        for step in range(settings.TRAIN_STEPS):

            # 进行一次反向传播

            sess.run(optimizer)

            # 每隔一定次数，输出一下进度，并保存当前训练结果

            if step % 50 == 0:

                print('step {} is down.'.format(step))

                # 取出input的内容，这是生成的图片

                img = sess.run(model.net['input'])

                # 训练过程是减去均值的，这里要加上

                img += settings.IMAGE_MEAN_VALUE

                # 这里是一个batch_size=1的batch，所以img[0]才是图片内容

                img = img[0]

                # 将像素值限定在0-255，并转为整型

                img = np.clip(img, 0, 255).astype(np.uint8)

                # 保存图片

                scipy.misc.imsave('{}-{}.jpg'.format(settings.OUTPUT_IMAGE,step), img)

        # 保存最终训练结果

        img = sess.run(model.net['input'])

        img += settings.IMAGE_MEAN_VALUE

        img = img[0]

        img = np.clip(img, 0, 255).astype(np.uint8)

        scipy.misc.imsave('{}.jpg'.format(settings.OUTPUT_IMAGE), img)

if __name__ == '__main__':

    train()

三

风格图像生成

1. 在主文件目录下新建output文件夹

2. 下载VGG19预训练模型imagenet-vgg-verydeep-19文件，链接：https://pan.baidu.com/s/1a8ryYskbo_2dn9on74NaTA 提取码：dt8y

2. 在主文件目录下打开powershell窗口

3. 运行python train.py，即可生成风格图像输出到output文件夹下，如下：

33d2f7258f3880e899f5f42ca0416ad0.gif

d9d67cd9431caa46b689afe3c0e69b2b.jpeg

2051799cdeb9941f3aab8b05da006209.gif

如果要自定义图像进行风格迁移，可以有两种方案：

1） 将images文件夹下的风格图片和内容图片替换掉；

2） 更改settings.py文件内容图片读取路径和名称；

长

按

关

注

一路同频

ID : AI计算机视觉

一起探索科技的奥秘.....

f1d8d6834f3da5a1536cd02c8eb42b33.jpeg

Lebron_xueyan
关注
  • 11
    点赞
  • 踩
  • 75
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
基于vgg19的梵高图像风格迁移
CSDN 精品推荐
11-14 3959
数据说明：蛋糕图像及其多目标类的集合Filename (str: uniquevalues) - JPG图像文件名奶油(str:[‘yes’， ‘no’] - yes表示奶油存在，no表示不存在水果(str:[‘yes’， ‘no’] - yes表示水果存在，no表示不存在spille_toppings (str:[‘yes’， ‘no’] - yes表示有洒上的浇头，如糖果、彩虹球，no表示没有结构简洁。
【保姆级教程】使用预训练VGG19模型通过训练的方式生成风格转换后的图像(实现神经风格转换)
静谧、淡雅
12-19 1351
【保姆级教程】使用预训练VGG19模型通过训练的方式生成风格转换后的图像(实现神经风格转换)
深度学习之基于Vgg19预训练卷积神经网络图像风格迁移系统
Q1744828575的博客
05-06 713
一、项目背景在数字艺术和图像处理领域，图像风格迁移技术一直备受关注。该技术可以将一幅图像的内容和另一幅图像的风格相结合，生成全新的、具有独特艺术效果的图像。近年来，随着深度学习技术的快速发展，尤其是卷积神经网络（CNN）在图像识别和处理领域的成功应用，基于深度学习的图像风格迁移技术取得了显著进步。本项目旨在利用VGG19预训练卷积神经网络开发一个高效的图像风格迁移系统。二、项目目标。
基于VGG19的图像风格迁移
煎蛋闲谈的博客
08-27 7938
01 引言 世界绘画历史悠久，在人类发展的过程许多伟大的画家留下了传世名画。譬如梵高的《星夜》、《十五朵向日葵》，毕加索的《格尔尼卡》等，为人类留下了宝贵的艺术遗产。我们在欣赏名画时可以了解历史，提高艺术修养，陶冶情操。 ​ 《日出·印象》（法国印象派画家莫奈创作油画） 《星月夜》（荷兰画家梵高创作油画） 在智能化的浪潮下，科技不断创新，人工智能（AI）成为未来发...
毕设分享 深度学习图像风格迁移系统(源码分享)
最新发布
faalasou的博客
05-25 359
今天学长向大家分享一个毕业设计项目毕业设计 深度学习图像风格迁移系统(源码分享)毕业设计 深度学习图像风格迁移系统图片风格迁移指的是将一个图片的风格转换到另一个图片中，如图所示：原图片经过一系列的特征变换，具有了新的纹理特征，这就叫做风格迁移。
毕设项目分享 深度学习图像风格迁移系统(源码分享)
noopier的博客
04-06 685
今天学长向大家分享一个毕业设计项目毕业设计 深度学习图像风格迁移系统(源码分享)毕业设计 深度学习图像风格迁移系统图片风格迁移指的是将一个图片的风格转换到另一个图片中，如图所示：原图片经过一系列的特征变换，具有了新的纹理特征，这就叫做风格迁移。
运用pytorch实现基于VGG19的风格迁移（绝对能跑）
U20215153的博客
09-10 1896
【代码】运用pytorch实现基于VGG19的风格迁移（绝对能跑）
基于tensorflow深度学习VGG-19图像风格迁移+自动去噪（MNIST数据集）机器学习+人工智能+神经网络
05-25
1.项目基于 MNIST 数据集，使用 VGG-19 网络模型，将图像进行风格迁移，实现去噪功能。 2.项目运行环境：Python 和 TensorFlow 运行环境。需要 Python 3.6 及以上配置，使用conda安装环境 conda create -n tensorflow python=3.8.10 3.项目包括 3 个模块：图片处理、模型构造、迭代更新。项目用到的网络模型为预训练好的VGG-19，使用过程中抛弃最后三个全连接层，取出前面各层的参数，构建网络结构。损失函数，由内容损失、风格损失构成。内容损失采用 L2范数损失，风格损失用 Gram 矩阵计算各通道的相关性，以便更好的捕捉笔触、纹理等细节信息，利用 adam 梯度下降算法进行优化。 4.准确率评估：对于图像风格迁移这种模糊算法，并没有客观的评判标准。损失函数可以反映出一部分情况，更多的是人为观察运行结果。经测试，经过 40 次迭代风格迁移已很明显，可根据自身需求，合理调节迭代次数。
8--风格迁移
garbage回收中心
09-02 1583
使用卷积神经网络，自动将一个图像中的风格应用在另一图像之上，即风格迁移（style transfer）。需要输入两张图片，一张是原图，另一张是想要应用的风格图像，如下图所示，最后输出风格迁移后的合成图像。
基于VGG19迁移学习实现图像风格迁移
01-18 1972
基于VGG19迁移学习实现图像风格迁移
基于 VGG19 的图像风格迁移研究
07-25
图像风格迁移技术是计算机视觉...实验表明， 采用 VGG-19 神经网络模型的图像风格迁移技术，生成了具有高感知质量的新图 像，将任意照片的内容与众多著名艺术品的外观相结合，展示了其在高级图像合 成和操作方面的潜力
风格迁移代码，基于 VGG19 的图像风格迁移源代码
07-25
基于 VGG19 的图像风格迁移源代码
基于VGG19的图像风格迁移.zip
06-27
《基于VGG19的图像风格迁移》 图像风格迁移是一种计算机视觉技术，它能够将一张图像的内容保留下来，同时赋予其另一种图像的风格。这种技术在艺术创作、设计、娱乐等领域有着广泛的应用。本项目重点探讨了如何利用...
使用VGG19迁移学习实现图像风格迁移
08-31
使用VGG19迁移学习实现图像风格迁移 这是一个使用预训练的VGG19网络完成图片风格迁移的项目，使用的语言为python，框架为tensorflow。 给定一张风格图片A和内容图片B，能够生成具备A图片风格和B图片内容的图片C。此...
人工智能-项目实践-迁移学习-使用VGG19迁移学习实现图像风格迁移
05-01
人工智能-项目实践-迁移学习-使用VGG19迁移学习实现图像风格迁移 使用VGG19迁移学习实现图像风格迁移 这是一个使用预训练的VGG19网络完成图片风格迁移的项目，使用的语言为python，框架为tensorflow。 给定一张...
VGG19-图像风格迁移
henuyl的博客
06-26 2958
先导入包 import tensorflow as tf import IPython.display as display import matplotlib.pyplot as plt import numpy as np import PIL.Image import time import functools 迭代了50次（次数过少）的效果 迭代800次 定义一个加载图像的函数，并将其最大尺寸限制为 512 像素。 创建一个简单的函数来显示图像 def tensor_to
基于Python+tensorflow深度学习VGG-19图像风格迁移+自动去噪（MNIST数据集）机器学习+人工智能+神经网络——含全部Python工程源码
小胡说人工智能的博客
06-22 1870
图像风格迁移是一种通过将图像的内容与另一个图像的风格相结合，生成新图像的技术。通过将待处理的图像输入VGG-19模型，我们可以获得图像的内容特征和风格特征。然后，利用风格迁移算法，将图像的内容特征与一个风格图像的风格特征进行融合。这样，我们可以生成一张具有原始图像内容但具有去除噪声的新图像。本项目基于 MNIST 数据集，使用 VGG-19 网络模型，将图像进行风格迁移，实现去噪功能。
python基于VGG19实现图像风格迁移
T20151470的博客
10-31 786
实现风格迁移背后的关键概念与所有深度学习算法的核心思想是一样的：定义一个损失函数来指定想要实现的目标，然后将这个损失最小化。你知道想要实现的目标是什么，就是保存原始图像的内容，同时采用参考图像的风格。风格（style）是指图像中不同空间尺度的纹理、颜色和视觉图案，内容（content）是指图像的高级宏观结构。(2)使用这三张图像上计算的层激活来定义之前所述的损失函数，为了实现风格迁移，需要将这个损失函数最小化。图像风格迁移是一种将一张图片的内容与另一张图片的风格进行合成的技术。
利用ImageNet上预训练的VGG19提取图像特征
zzcy202202的博客
09-14 511
(5) Conv4_1+conv4_2+con4_3+pool4: 经过三次512个的卷积核卷积之后，采用一次max pooling，有(3 * 3 * 512) * 512=2359296个训练参数，大小变为14 * 14 * 512.(6) Conv5_1+conv5_2+con5_3+pool5: 再经过三次512个的卷积核卷积之后，采用一次max pooling，有(3 * 3 * 512) * 512=2359296个训练参数，大小变为7 * 7 * 512.
VGG19怎么使用softmax分类
05-26
VGG19是一个经典的卷积神经网络模型，通常用于图像分类任务。要使用softmax分类，需要在VGG19的最后一层添加一个全连接层，并将其输出结果输入到softmax函数中进行分类。 具体步骤如下： 1. 加载VGG19预训练模型。 ```python from keras.applications.vgg19 import VGG19 model = VGG19(weights='imagenet', include_top=True) ``` 2. 移除VGG19的最后一层。 ```python from keras.models import Model # 获取除最后一层外的所有层 x = model.layers[-2].output # 创建一个新模型，去掉最后一层 new_model = Model(inputs=model.input, outputs=x) ``` 3. 添加一个全连接层。 ```python from keras.layers import Dense # 添加一个新的全连接层 predictions = Dense(num_classes, activation='softmax')(x) # 创建一个新模型，包含全连接层 new_model = Model(inputs=model.input, outputs=predictions) ``` 4. 编译模型并训练。 ```python new_model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) new_model.fit(x_train, y_train, epochs=10, batch_size=32, validation_data=(x_test, y_test)) ``` 在上述代码中，num_classes是分类的数量，x_train和y_train是训练数据集的特征和标签，x_test和y_test是测试数据集的特征和标签。在fit函数中，可以设置epochs和batch_size来控制训练过程的迭代次数和批量大小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值