使用OpenCv+ENet实现语义分割

使用OpenCv+ENet实现语义分割

效果图

转载自 https://www.pyimagesearch.com/2018/09/03/semantic-segmentation-with-opencv-and-deep-learning/

介绍

在本教程中，您将学习如何使用OpenCV，深度学习和ENet架构执行语义分割。阅读本教程后，您将能够使用OpenCV对图像和视频应用语义分割。深度学习有助于增加计算机视觉的前所未有的准确性，包括图像分类，对象检测，现在甚至是分割。传统分割涉及将图像分割成若干模块（Normalized Cuts, Graph Cuts, Grab Cuts, superpixels,等）; 但是，算法并没有真正理解这些部分代表什么。

另一方面，语义分割算法会作如下的工作：

• 1、分割图像划分成有意义的部分
• 2、同时，将输入图像中的每个像素与类标签（即人，道路，汽车，公共汽车等）相关联。

语义分割算法很强大，有很多用例，包括自动驾驶汽车 - 在今天的文章中，我将向您展示如何将语义分割应用于道路场景图像以及视频！

OpenCV和深度学习的语义分割

在这篇文章中，我们将讨论ENet深度学习框架，并且演示如何使用ENet对图像和视频流进行语义分割。

ENet语义分割框架

ENet语义分割框架

在本教程中我们将使用的语义分割框架是ENet，他是基于Paszke等人的2016年的论文Net：ENet: A Deep Neural Network Architecture for Real-Time Semantic Segmentation：

Abstract: ...In this paper, we propose a novel deep neural network architecture named ENet (efficient neural network), created specifically for tasks requiring low latency operation. ENet is up to 18× faster, requires 75× less FLOPs, has 79× less parameters, and provides similar or better accuracy to existing models. ...（大概就是速度提高了18倍，参数减少了79倍，然后精度更高速度更快）。

一个正向传播在我的（垃圾）笔记本CPU（i5-6200）上花费了0.5S左右的时间，如果使用GPU将更快。Paszke等人在The Cityscapes Dataset训练了他们的数据集，你可以根据需求选择你需要的数据集进行训练。并且这个数据集还带有用于城市场景理解的图像示例。

我们使用训练了20种类的模型，包括：

Unlabeled (i.e., background)
Road
Sidewalk
Building
Wall
Fence
Pole
TrafficLight
TrafficSign
Vegetation
Terrain
Sky
Person
Rider
Car
Truck
Bus
Train
Motorcycle
Bicycle

接下来，您将学习如何应用语义分段来提取图像和视频流中每个类别，像素之间的映射关系。如果您有兴趣训练自己的ENet模型以便在自己的自定义数据集上进行分割，可以参考此页面，作者已提供了有关如何进行训练的教程。

工程结构

若需要工程源码可以直接在下方留言邮箱或者公众号留言邮箱。
下面让我们在工程目录下面运行 tree：

.
├── enet-cityscapes
│   ├── enet-classes.txt
│   ├── enet-colors.txt
│   └── enet-model.net
├── images
│   ├── example_01.png
│   ├── example_02.jpg
│   ├── example_03.jpg
│   └── example_04.png
├──