神经网络 前景 背景_【论文研读】基于卷积神经网络的图像局部风格迁移

01

简介

    自2015年Gatys首次提出神经艺术风格迁移框架以来，图像风格迁移逐渐成为计算机图形学和计算机视觉领域的一个研究热点，但是当前针对图像风格迁移的研究大多难以提取图像中的局部进行风格迁移，而将重心放在图像全局风格迁移上，针对局部风格迁移这一研究领域上的空白，浙江工业大学

缪永伟与浙江理工大学、中科院自动化研究所合作发表了《基于卷积神经网络的图像局部风格迁移》一文。

    文中提出了一种基于卷积神经网络的图像局部风格迁移框架，根据输入的内容图和风格图利用图像风格迁移网络生成全局风格迁移图，再利用语义分割生成掩码区分图像的前景区域和背景区域，最后利用掩码图确定风格迁移区域并融合未迁移区域得到图像局部风格迁移结果。

02

网络结构

    针对输入原图，利用全连接神经网络FCN和条件随机场CRF结合构成图像语义分割网络，分割输入的内容图得到还有语义标签的语义分割图，此时依据风格图标签对语义分割图进行二值化得到掩码图，掩码图中仅含有值为0或为1的像素点，为0的像素点对应于风格迁移中不