GAN之风格迁移

参考:

GAN应用之风格迁移&超分辨重建,无监督深度学习新方法(4):https://blog.csdn.net/qq_43019117/article/details/82837329

CycleGAN生成对抗网络图像处理工具:https://www.oschina.net/p/cyclegan?hmsr=aladdin1e1

GAN

  • 在原始的GAN基础上设计了新的网络结构,生成模型使用U-net,判别模型使用patchGAN
  • 使用对抗性的损失,感知损失,模糊损失
  • 所有的损失函数延续了LSGAN的思想,使得训练过程更加的稳定
  • 使用了较低成本实现了风格迁移‘

1:CycleGan

  • cycleGan不需要配对数据集,可以实现源域和目标域的相互转换
  • photo -> Monet ,summer -> winter 指鹿为马
  • CycleGan建立了一个可双向转换不丢失信息的双向算法。能够将一张图片输入CycleGan中进行多次反复的转化,最终获得相似的图片

2:卡通风格的转换

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GAN 图像风格迁移是一种利用生成对抗网络(GAN)实现的图像风格变换技术。下面是一个使用 TensorFlow 实现 GAN 图像风格迁移的示例代码: ```python import tensorflow as tf import numpy as np import argparse import os import sys import time import datetime import random import cv2 def build_parser(): parser = argparse.ArgumentParser() parser.add_argument('--model', type=str, default='model.ckpt', help='Model checkpoint to load') parser.add_argument('--input_img', type=str, help='Input image file path') parser.add_argument('--output_img', type=str, help='Output image file path') parser.add_argument('--style_img', type=str, help='Style image file path') parser.add_argument('--content_weight', type=float, default=1.0, help='Weight of content loss') parser.add_argument('--style_weight', type=float, default=5.0, help='Weight of style loss') parser.add_argument('--tv_weight', type=float, default=1e-3, help='Weight of total variation loss') parser.add_argument('--learning_rate', type=float, default=1e-3, help='Learning rate') parser.add_argument('--num_iters', type=int, default=1000, help='Number of iterations') parser.add_argument('--save_every', type=int, default=100, help='Save checkpoint every N iterations') parser.add_argument('--print_every', type=int, default=10, help='Print loss every N iterations') parser.add_argument('--gpu', type=int, default=0, help='GPU device ID') return parser def build_vgg19(input_tensor): vgg = tf.keras.applications.VGG19(include_top=False, weights='imagenet', input_tensor=input_tensor) vgg.outputs = [vgg.layers[9].output, vgg.layers[13].output, vgg.layers[17].output, vgg.layers[21].output] return vgg def gram_matrix(x): features = tf.keras.backend.batch_flatten(tf.keras.backend.permute_dimensions(x, (2, 0, 1))) gram = tf.keras.backend.dot(features, tf.keras.backend.transpose(features)) return gram def content_loss(content, generated): return tf.reduce_mean(tf.square(content - generated)) def style_loss(style, generated): S = gram_matrix(style) G = gram_matrix(generated) channels = 3 size = 256 * 256 return tf.reduce_mean(tf.square(S - G)) / (4. * (channels ** 2) * (size ** 2)) def total_variation_loss(x): a = tf.square(x[:, :255, :255, :] - x[:, 1:, :255, :]) b = tf.square(x[:, :255, :255, :] - x[:, :255, 1:, :]) return tf.reduce_mean(tf.pow(a + b, 1.25)) def build_model(content, style, generated): content_loss_val = content_loss(content, generated) style_loss_val = style_loss(style, generated) tv_loss_val = total_variation_loss(generated) loss = args.content_weight * content_loss_val + args.style_weight * style_loss_val + args.tv_weight * tv_loss_val optimizer = tf.train.AdamOptimizer(args.learning_rate).minimize(loss) return loss, optimizer def preprocess_img(img): img = cv2.resize(img, (256, 256)) img = img.astype(np.float32) / 255.0 img = np.expand_dims(img, axis=0) return img def postprocess_img(img): img = np.squeeze(img, axis=0) img = np.clip(img * 255.0, 0, 255).astype(np.uint8) return img def main(args): # Set GPU device os.environ['CUDA_VISIBLE_DEVICES'] = str(args.gpu) # Create session config = tf.ConfigProto() config.gpu_options.allow_growth = True sess = tf.Session(config=config) # Build VGG19 model input_tensor = tf.placeholder(tf.float32, shape=(None, 256, 256, 3)) vgg = build_vgg19(input_tensor) # Load images content_img = cv2.imread(args.input_img) style_img = cv2.imread(args.style_img) # Preprocess images content_img = preprocess_img(content_img) style_img = preprocess_img(style_img) # Build model content_tensor = vgg(input_tensor)[0] style_tensors = [vgg(style_img)[i] for i in range(4)] generated_tensor = tf.Variable(content_img, dtype=tf.float32) loss_op, optimizer_op = build_model(content_tensor, style_tensors, generated_tensor) # Load checkpoint saver = tf.train.Saver() saver.restore(sess, args.model) # Train model for i in range(args.num_iters): _, loss_val = sess.run([optimizer_op, loss_op]) if i % args.print_every == 0: print('[{:04d}/{:04d}] loss = {:.4f}'.format(i+1, args.num_iters, loss_val)) if i % args.save_every == 0: saver.save(sess, args.model) generated_img = sess.run(generated_tensor) generated_img = postprocess_img(generated_img) cv2.imwrite(args.output_img, generated_img) # Save final result saver.save(sess, args.model) generated_img = sess.run(generated_tensor) generated_img = postprocess_img(generated_img) cv2.imwrite(args.output_img, generated_img) if __name__ == '__main__': parser = build_parser() args = parser.parse_args() main(args) ``` 使用方法: 1. 下载并安装 TensorFlow。 2. 下载预训练的 VGG19 模型([vgg19.npy](https://github.com/machrisaa/tensorflow-vgg/blob/master/vgg19.npy))并将其放在代码所在目录下。 3. 执行以下命令: ```bash python gan_image_style_transfer.py --input_img input.jpg --output_img output.jpg --style_img style.jpg ``` 其中 `input.jpg` 是输入图像,`style.jpg` 是风格图像,`output.jpg` 是输出图像。可以通过调整命令行参数来改变模型训练的参数和行为。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值