【自动驾驶/opencv】32.交通灯颜色提取的难点

交通灯颜色识别有难点，因为很多时候，颜色会因为环境而变化，例如下面的红灯，下图不用理会右边的交通灯，因为我调试程序中是限定了id==8641只分析左边这个，所以右边这个没进行处理。

上图左边是向左的箭头灯，右边是向右的箭头。但是使用颜色空间进行提取颜色时，这箭头很亮的部分，其实已经接近白色了，所以就提取不到红色了。

这张图是截取亮灯中心带一点周边的图像：

下面这张图是截取亮灯中心的图像：【注意，这里我已经附图了，因为很接近白色，所以人眼不太能看出来，你可以把鼠标移动到下面中心位置的部分，就会出现一个放大镜的+，这就是图片】

我们人眼之所以还能觉得它是红色，是因为箭头周边，亮度没那么强的部分还能看出是红色，想把这接近白色的部分提取出红色，自然就不太可能了。

如下图，是用我另一篇博客HSV提取RBG各种颜色c++代码来提取红色得到的图片。可以看出,红色亮灯区域并没提取出来，只有周边的红色部分提取出来了：

---

如果从相机isp方面无法继续优化，那么就只能从其他颜色以外的角度想办法来解决了。

---

下面的方法不是使用hsv提取颜色，所以和上面的HSV方法有所差异：

void ExtractGreenLight(cv::Mat src_img, cv::Mat &dst_img) {
  std::vector<cv::Mat> Src_Mat_part(src_img.channels());
  cv::split(src_img, Src_Mat_part);
  cv::Mat img_green, img_red;
  img_green = Src_Mat_part[1].clone();
  img_red = Src_Mat_part[2].clone();
  dst_img = img_green - img_red;
}

void ExtractRedLight(cv::Mat src_img, cv::Mat &dst_img) {
  std::vector<cv::Mat> Src_Mat_part(src_img.channels());
  cv::split(src_img, Src_Mat_part);
  cv::Mat img_blue, img_red, img_green;
  img_blue = Src_Mat_part[0].clone();
  img_green = Src_Mat_part[1].clone();
  img_red = Src_Mat_part[2].clone();
  dst_img = cv::max(img_green, img_red) - cv::min(img_green, img_blue);
  // dst_img = img_red - cv::min(img_green,img_blue);
  // dst_img = 2 * img_red - img_blue - 220;
}

上面两个函数的输出是灰度图像，分别为只包含红(黄)色和只包含绿色的图像。代码提取红色的函数提取的是红色和黄色一起提取出来，然后利用红黄色在交通灯的上下位置来区分红色和黄色。提取绿色的函数就是只提取绿色。

当然，由于我们可以由目标检测得到交通灯的box位置，所以可以得到只包含交通灯的roi图片，对这roi图片进行颜色提取，可以得到下面这张灰度图：

可以看出，我们能够利用强光周围的红色，也能找到亮灯区域，只不过，此时亮灯区域是提取不了红色，所以图中亮灯区域的左箭头显示为黑色。
对上面灰度图进行二值化，可以得到下面这张图，下图的边界框是我画出来的，不是二值化后得到的框。然后再找轮廓，找到亮灯区域的box。最后再根据找到的box截取出亮灯区域的roi图片。

不过，这种情况下的亮灯人眼看着都很模糊，机器想要正确识别也不容易。

---

在这种情况下，可以特殊情况特殊处理，以下是我的一个思路：
先提取出交通灯图片最亮的部分，然后再二值化，求轮廓，找出最小外接正矩形 cv::Rect roi = cv::boundingRect(contours[i]);就是亮灯区域的位置，根据最小外接正矩形在交通灯的位置来分类是红色、黄色、或者绿色。一个交通灯的上中下三个亮灯区域依次是是红、黄、绿。
当然，对于不是这种交通灯的，该方法就不适用了，毕竟这种方法没有使用颜色空间，并不能真正从颜色角度提取颜色。

更多细节请跳转。