背景虚化_深度学习玩转背景虚化实战

一、引言

我们通常使用一些照片编辑应用程序来实现单反相机的背景虚幻效果(这个背景虚化一度是好相机的标准)例如Photoshop，Gimp，Picsart，Snapseed等。随着时间的推移，我们在计算机视觉和使用深度学习的图像处理方面进行了重大改进。因此出现了一个问题，我们可以使用深度学习获得这种散景效果吗？

二、实现原理

1.图像分割

基本上，整个目标是基于称为图像分割的卷积神经网络的高级实现。我们都熟悉基于图像输入标签数量的用于图像分类的CNN。但是，假设为此必须在给定图像中标识特定对象，我们必须使用对象检测和图像分割的概念。

这是图像分类和检测的经典示例，其中如果单个图像中有多个类别的对象可用，则我们进行对象检测，一旦找到了多个对象的坐标，则给定的图像将进行关注区域合并。在对这些对象进行分类并在每个标识的对象周围绘制边框时，将显示一个图像。

完成所有这些操作后，我们将继续进行图像分割的下一个步骤，因为边界框仅显示对象在图像内部的位置，但不会提供有关对象形状的任何信息。

简而言之，图像分割是将图像像素分为小部分或小部分，并根据相似的信息或属性将它们分组并为其分配标签的过程。这有助于捕获像素级别的非常小的细节。分割会为图像中的每个已识别对象创建一个逐像素遮罩，请看下面的图片。主要目的是以这种方式训练神经网络，使其可以提供图像的像素级蒙版。

2.深度学习的模型

一旦我们清楚了图像分割，然后让我们看一下将要使用的模型，即在coco数据集上训练的mobilenetv2。mobilenetv2是一种轻量级模型，可以在手机等低功耗设备上使用，这是2017年发布的mobilenetv1模型的第二个版本。

mobilenetv2对v1进行了一些改进，例如实现了反向残差，线性瓶颈和残差连接。

v2总共包含3个卷积层，其中第一个是扩展层，第二个是深度层，第三个是投影层。

扩展层：此层接收输入数据并将低维数据扩展为高维，以便保留重要信息并将其输出提供给深度层。扩展因子是一个超参数，可以根据以下参数进行调整试用次数。

深度层：该层接收来自扩展层的输入，并执行深度和点向卷积，将特征图提供给投影层。

投影层：该层负责缩小数据的尺寸，以便仅有限数量的数据在网络中进一步传递，此时输入尺寸与输出尺寸匹配，这也称为“瓶颈”层”。

3.ReLu6

该网络中的每个层都带有ReLu6，而不是带有批量标准化的ReLu。ReLu6将值的范围限制在0到6之间，这是一个线性激活函数。通过限制小数点左边的3位信息，还有助于将精度保持在小数点右边。

研究人员表示，最后一层(即投影层)的输出不具有激活功能，因为其输出是低维数据。根据研究人员的说法，在最后一层中添加任何非线性函数都可能导致有用信息的丢失。

三、完整代码

原始图片如下：