基于Opencv中的DNN模块实现图像/视频的风格迁移

一、DNN模块的介绍

1、简介

OpenCV中的DNN（Deep Neural Network）模块是一个功能强大的组件，它支持深度学习网络模型的加载和推理。虽然DNN模块不提供模型的训练功能，但它可以与主流的深度学习框架（如TensorFlow、Caffe、Torch和Darknet）兼容，加载这些框架训练好的模型进行推理。

2、特点

（1）、轻量型：DNN模块仅提供推理功能，因此代码量较小，运行开销也较小。
（2）、使用方便：如果项目中已经使用OpenCV，那么可以很容易地集成DNN模块，为项目添加深度学习能力。
（3）、通用性：支持多种网络模型格式，无需进行额外的模型转换。

二、DNN模块的用法

（1）、图像预处理功能函数cv2.dnn.blobFromImage

实现图像预处理，从原始图像构建一个符合人工神经网络输入格式的四维块。

blob = cv2.dnn.blobFromImage(image, scalefactor=None, size=None, mean=None, swapRB=None, crop=None)
参数：
image:表示输入图像。
scalefactor:表示对图像内的数据进行缩放的比例因子。具体运算是每个像素值*scalefactor，该值默认为 1。
size:用于控制blob的宽度、高度。
mean:表示从每个通道减去的均值。  (0, 0, 0)：表示不进行均值减法。即，不对图像的B、G、R通道进行任何减法操作。
若输入图像本身是B、G、R通道顺序的，并且下一个参数swapRB值为True，
swapRB:表示在必要时交换通道的R通道和B通道。一般情况下使用的是RGB通道。而OpenCV通常采用的是BGR通道。因此可以根据需要交换第1个和第3个通道。该值默认为 False。
crop:布尔值，如果为 True，则在调整大小后进行居中裁剪。
返回值：blob: 表示在经过缩放、裁剪、减均值后得到的符合人工神经网络输入的数据。该数据是一个四维数据，
布局通常使用N(表示batch size)、C(图像通道数，如RGB图像具有三个通道)、H(图像高度)、W(图像宽度)

（2）、模型加载方法

加载模型net=cv2.dnn.readNet( model[, config[， framework]] ）
各参数的含义如下:
model:模型权重参数文件路径。文件内存储的是训练好的模型的权重值，是二进制文件。
config:模型配置文件路径。模型配置文件内存储的模型描述文件,描述的是网络结构，是文本文件，文件较小。
framework:DNN框架，可省略，DNN模块会自动推断框架种类。
net:返回值，返回网络模型对象。 

三、DNN模块的实践，实现图像的风格迁移

代码

import cv2

image = cv2.imread('image/cat.jpg')
cv2.imshow('cat', image)
cv2.waitKey(0)

# 获取图片尺寸
(h, w) = image.shape[:2]
blob = cv2.dnn.blobFromImage(image, 1, (w, h), (0, 0, 0), swapRB=True, crop=False)

# 几种模型
# net = cv2.dnn.readNet(r'model/candy.t7')
# net = cv2.dnn.readNet(r'model/composition_vii.t7')
# net = cv2.dnn.readNet(r'model/feathers.t7')
net = cv2.dnn.readNet(r'model/la_muse.t7')
# net = cv2.dnn.readNet(r'model/mosaic.t7')
# net = cv2.dnn.readNet(r'model/the_wave.t7')
# net = cv2.dnn.readNet(r'model/starry_night.t7')
# net = cv2.dnn.readNet(r'model/udnie.t7')

net.setInput(blob)
out = net.forward()
out_new = out.reshape(out.shape[1], out.shape[2], out.shape[3])
cv2.normalize(out_new, out_new, norm_type=cv2.NORM_MINMAX)

result = out_new.transpose(1, 2, 0)
cv2.imshow('result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

结果展示