【深度学习风格化/生成艺术】图像融合--毫无违和

玩转图像，可以玩一整天的图像生成

Deep Painterly Harmonization
来自康奈尔大学的FujunLuan，在最近的文章中发表了一种可以再油画、名画和各种风格的原图中，嵌入自己个性化的部分，并毫无违和感的展示出来。研究表明局域统计特征对于图像的融入十分重要、生成高质量图像的关键在于保证多尺度统计特征和空间的连续性。

相关工作

• 图像共融–Image Harmonization.
• 风格迁移–Style Transfer using Neural Networks

算法

损失主要分为三部分：

• 标准的风格和内容损失
  
• 直方图损失，增加上式稳定性：
  
• 全局方差损失，增加图像平滑过渡：
  

具体的步骤分为：

• 鲁棒的粗融合：包括了映射和重建
• 高质量的精融合：同业也是映射与重建
• 后处理阶段包含了色度去噪、图像分片合成
• 训练painting estimator 来获取优化参数

一些结果:

作者

Fujun Luan是康奈尔大学博士，主要集中于图形学渲染方向和风格迁移领域的研究，去年一篇著名的图像风格迁移论文deep photo style transfer也出自他之手。

代码实现

作者的代码主要包含torch、cudnn和matlab写的代码。其中cudnn用于加速、torch用于风格迁移生成、matlab用于后处理。

python

其python代码主要是调用了torch写的lua脚本

import os
import math

numImgs = 35   #需要生成的图像数量
# numGpus = 16 
numGpus = 1   #使用的GPU数量

if os.path.exists('results') == 0:
	os.mkdir('results')   #图像在git文件夹下resulte下

N = int(math.ceil(float(numImgs)/numGpus))   #分配

for j in range(1, numGpus+1):
	cmd = ''
	for i in range(1, N+1):
		idx = (i-1) * numGpus + (j-1)
		if idx >= 0 and idx < numImgs:
			print('Working on image idx = ', idx)
			#https://github.com/luanfujun/deep-painterly-harmonization/blob/master/neural_gram.lua
			part_cmd1 =' th neural_gram.lua '\     #计算格拉姆矩阵，各种风格迁移、掩膜等等
					   ' -content_image data/' + str(idx) + '_naive.jpg  '\
					   ' -style_image   data/' + str(idx) + '_target.jpg '\
					   ' -tmask_image   data/' + str(idx) + '_c_mask.jpg '\
					   ' -mask_image    data/' + str(idx) + '_c_mask_dilated.jpg '\
					   ' -gpu ' + str(j-1) + ' -original_colors 0 -image_size 700 '\
					   ' -output_image  results/' + str(idx) + '_inter_res.jpg'\
					   ' -print_iter 100 -save_iter 100 && '
			#https://github.com/luanfujun/deep-painterly-harmonization/blob/master/neural_paint.lua
			part_cmd2 =' th neural_paint.lua '\     #生成painting，精细化的融合新加入的图像
					   ' -content_image data/' + str(idx) + '_naive.jpg '\
					   ' -style_image   data/' + str(idx) + '_target.jpg '\
					   ' -tmask_image   data/' + str(idx) + '_c_mask.jpg '\
					   ' -mask_image    data/' + str(idx) + '_c_mask_dilated.jpg '\
					   ' -cnnmrf_image  results/' + str(idx) + '_inter_res.jpg  '\
					   ' -gpu ' + str(j-1) + ' -original_colors 0 -image_size 700 '\
					   ' -index ' + str(idx) + ' -wikiart_fn data/wikiart_output.txt '\
					   ' -output_image  results/' + str(idx) + '_final_res.jpg' \
					   ' -print_iter 100 -save_iter 100 '\
					   ' -num_iterations 1000 &&' 
			cmd = cmd + part_cmd1 + part_cmd2
	cmd = cmd[1:len(cmd)-1]
	print(cmd)
	os.system(cmd)

matlab

作者同时还提供了matlab代码来进行后处理：

for i = 0:34
    close all

    in_fn  = ['results/' int2str(i) '_final_res.png'];  %输入输入
    out_fn = ['results/' int2str(i) '_final_res2.png'];
    
    if exist(in_fn, 'file') ~= 2 
        fprintf('file doesn''t exist: %s\n', in_fn); 
        continue
    end 
    if exist(out_fn, 'file') == 2 
        fprintf('result already exists: %s\n', out_fn); 
        continue
    end 

    I = im2double(imread(in_fn));

    G = im2double(imread(['data/' int2str(i) '_naive.jpg']));    %原图
    M = im2double(imread(['data/' int2str(i) '_c_mask.jpg']));   %mask图像
    B = im2double(imread(['data/' int2str(i) '_target.jpg']));   %目标图


    tr= 3;
    h = fspecial('gaussian', [2*tr+1 2*tr+1], tr);
    sM = imfilter(M, h, 'same'); 
    sM(sM > 0.01) = 1; % dialte
    sM(sM < 0.01) = 0;
    sM = imfilter(sM, h, 'same'); 

    addpath 3rdparty/colorspace
    I_lab = colorspace('rgb->lab', I);   %颜色空间lab转换

    addpath 3rdparty/guided_filter    %引导滤波器
    addpath 3rdparty/patchmatch-2.0    %图像片元匹配

    r = 2; % try r=2, 4, or 8    %一些超参数
    eps = 0.1^2; % try eps=0.1^2, 0.2^2, 0.4^2

    O_lab = I_lab;
    O_lab(:,:,2) = guidedfilter_color(G, I_lab(:,:,2), r, eps);   %引导滤波器：ref:https://arxiv.org/abs/1505.00996
    O_lab(:,:,3) = guidedfilter_color(G, I_lab(:,:,3), r, eps);

    % runs here, deconvolution CNN artifact removed   %去除解卷积的人工痕迹
    O1 = colorspace('lab->rgb', O_lab);
    % one patchmatch pass to further remove color artifact
    cores = 4; 
    algo = 'cputiled';
    patch_w = 7;
    ann = nnmex(O1, B, algo, patch_w, [], [], [], [], [], cores);
    O2_base = im2double(votemex(B, ann));

    r = 3;
    h = fspecial('gaussian', [2*r+1 2*r+1], r/3);
    O1_base = imfilter(O1, h, 'same');
    O2 = O2_base + O1 - O1_base;

    O2 = O2.*sM + B.*(1-sM);
    figure; imshow(I)
    figure; imshow(O2)

    imwrite(O2, out_fn);
end 

TODO:代码run demo

---

ref:
https://arxiv.org/pdf/1804.03189.pdf
https://www.cs.cornell.edu/~fujun/
https://github.com/luanfujun/deep-painterly-harmonizatio
results:https://github.com/luanfujun/deep-painterly-harmonization/blob/master/README2.md
deep photo transfer：https://blog.csdn.net/cicibabe/article/details/70868746，https://arxiv.org/pdf/1703.07511.pdf