小白学视觉 | 基于OpenCV的路面质量检测

本文来源公众号“小白学视觉”，仅用于学术分享，侵权删，干货满满。

原文链接：基于OpenCV的路面质量检测

本期我们将展示一种对路面类型和质量进行分类的方法及其步骤。为了测试这种方法，我们使用了我们制作的RTK数据集。

路面分类

该数据集[1]包含用低成本相机拍摄的图像，以及新兴国家常见的场景，其中包含未铺砌的道路和坑洼。路面类型是有关人或自动驾驶车辆应如何驾驶的重要信息。除了乘客舒适度和车辆维护以外，它还涉及每个人的安全。我们可以通过[2]中的简单卷积神经网络（CNN）结构来实现。

在这种方法中，我们对表面类型分类任务使用特定的模型，我们将其定义为以下类别：沥青，已铺设（用于所有其他类型的路面）和未铺设。对于表面质量，我们使用其他三种不同的模型，每种类型的表面都使用一种。这四个模型都具有相同的结构。我们从第一个模型中得出结果，并称为特定质量模型。

在CNN结构之前，将感兴趣区域（ROI）定义为每个输入帧的预处理步骤。毕竟，我们不需要整个图像来对道路进行分类。ROI旨在仅保留图像中实际包含道路像素的部分。图像的上半部分以及图像底部的一小部分都将被丢弃，因为在某些帧中，它可能包含负责捕获图像的部分车辆。ROI采用硬编码，因为如果我们使用自适应ROI，它可能会导致失败并损害模型训练。

在此预处理之后执行数据扩充步骤。数据增强包括增加和减少每帧的亮度。这样，我们可以改进训练输入集，并帮助我们的系统学习识别具有不同照明条件的相同类型和质量的道路。

最后，将输入图像传递到包含三个卷积层和两个完全连接层的CNN结构。

01.RTK数据集

数据集包含具有不同类型的表面和质量的图像。

可从以下位置下载RTK数据集：

http://www.lapix.ufsc.br/pesquisas/projeto-veiculo-autonomo/datasets/?lang=zh-CN

02.路面类型分类

我们使用了Python，TensorFlow和OpenCV。

让我们逐步分析一下…

首先，我们需要建立表面类型分类模型。为此，您将需要准备数据以训练模型。您可以使用RTK数据集中的图像或制作自己的图像。图像需要按地面道路类型进行组织。

训练数据文件夹结构

在我们的实验中，我们使用了6264帧：

l铺砌（沥青）：4344，用于柏油马路。

l铺砌的（混凝土的）：1337用于不同的人行道，例如鹅卵石。

l未铺砌：585用于未铺砌，土路，越野。

接下来，在train.py中，定义从何处收集训练数据。我们应该将20％的数据分开以自动用于验证。我们还定义了batch_size为32。

classes = os.listdir('training_data')
num_classes = len(classes)
batch_size = 32
validation_size = 0.2
img_size = 128
num_channels = 3
train_path='training_data'

在train.py上设置的参数将在dataset.py类上读取。

data = dataset.read_train_sets(train_path, img_size, classes, validation_size=validation_size)

在dataset.py类中，我们定义了ROI和数据扩充。带有数据解释功能的两个函数，Adjust_gamma可以降低亮度，而Adjust_gammaness可以提高亮度。

def adjust_gamma(image):
  gamma = 0.5
  invGamma = 1.0 / gamma
  table = np.array([((i / 255.0) ** invGamma) * 255 
    for i in np.arange(0, 256)]).astype("uint8")
  return cv2.LUT(image, table)
def increase_brightness(img, value):
  hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
  h, s, v = cv2.split(hsv)
  lim = 255 - value
  v[v > lim] = 255
  v[v <= lim] += value
  final_hsv = cv2.merge((h, s, v))
  img = cv2.cvtColor(final_hsv, cv2.COLOR_HSV2BGR)
  return img

加载输入数据时，将为每个图像定义ROI。

for