自主视觉避障之光流法

本帖的目的在于：
1）学习光流的基本概念和基本原理；
2）调研当前光流法的主流方法，并给出参考链接和源码
3）光流法与避障的结合点
4）谈一谈光流法的应用和未来发展趋势

1.光流法

1.1 光流法的基本假设

1.2 传统的光流法

参考：光流简介
opencv中的光流法及其函数调用。
注意：opencv不同版本有不同的方法，有些方法在最新的版本中可能遭到遗弃。
参考：opencv 3.4.2稠密光流方法

• 金字塔LK：calcOpticalFlowPyrLK
• HS 2003：CalcOpticalFlowHS
• DIS 2016：
• Farneback：calcOpticalFlowFarneback
  Farneback算法详解
  Farneback算法参考
• SimpleFlow 2012：calcOpticalFlowSF
• 块匹配：CalcOpticalFlowBM

1.2.1 金字塔LK光流法

1.2.2 HS光流法

1.2.3 DIS光流法

参考文献：Kroeger T , Timofte R , Dai D , et al. Fast Optical Flow using
Dense Inverse Search[J]. 2016.
已经在OpenCV库中了。

参考链接：OpenCV4.0下调用DIS光流法

#include "opencv2/core/utility.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/video.hpp"
#include <iostream>
using namespace std;
using namespace cv;
static void help()
{
    printf("Usage: dis_optflow <video_file>\n");
}
int main(int argc, char **argv)
{
    VideoCapture cap;
    if (argc < 2)
    {
        help();
        exit(1);
    }
    cap.open(argv[1]);
    if(!cap.isOpened())
    {
        printf("ERROR: Cannot open file %s\n", argv[1]);
        return -1;
    }
    Mat prevgray, gray, rgb, frame;
    Mat flow, flow_uv[2];
    Mat flow_Farneback;
    Mat flow_uv_Farneback[2];
    Mat mag, ang;
    Mat mag_Farneback, ang_Farneback;
    Mat hsv_split[3], hsv;
    Mat hsv_split_Farneback[3], hsv_Farneback;
    Mat rgb_Farneback;


    Ptr<DenseOpticalFlow> algorithm = DISOpticalFlow::create(DISOpticalFlow::PRESET_MEDIUM);

    int idx = 0;
    while(true)
    {
        cap >> frame;
        if (frame.empty())
            break;
        cv::resize(frame,frame,cv::Size(0.8*frame.cols,0.8*frame.rows),0,0,cv::INTER_LINEAR);
        idx++;
        cvtColor(frame, gray, COLOR_BGR2GRAY);
        cv::imshow("orig", frame);

        if (!prevgray.empty())
        {
            /*DISOpticalFlow*/
            /*main function of DISOpticalFlow*/
            algorithm->calc(prevgray, gray, flow);
            split(flow, flow_uv);
            multiply(flow_uv[1], -1, flow_uv[1]);
            cartToPolar(flow_uv[0], flow_uv[1], mag, ang, true);
            normalize(mag, mag, 0, 1, NORM_MINMAX);
            hsv_split[0] = ang;
            hsv_split[1] = mag;
            hsv_split[2] = Mat::ones(ang.size(), ang.type());
            merge(hsv_split, 3, hsv);
            cvtColor(hsv, rgb, COLOR_HSV2BGR);
            cv::Mat rgbU;
            rgb.convertTo(rgbU, CV_8UC3,  255, 0);
            cv::imshow("DISOpticalFlow", rgbU);
            Mat rgbU_b = rgbU.clone();
            Mat split_dis[3];
            split(rgbU_b, split_dis);

            split_dis[2] = prevgray;
            Mat merge_dis;
            merge(split_dis, 3, merge_dis);
            cv::imshow("DISOpticalFlow_mask", merge_dis);
            /*Farneback*/
            cv::calcOpticalFlowFarneback(prevgray, gray, flow_Farneback, 0.5, 3,15, 3, 5, 1.2, 0);

            split(flow_Farneback, flow_uv_Farneback);
            multiply(flow_uv_Farneback[1], -1, flow_uv_Farneback[1]);
            cartToPolar(flow_uv_Farneback[0], flow_uv_Farneback[1], mag_Farneback, ang_Farneback, true);
            normalize(mag_Farneback, mag_Farneback, 0, 1, NORM_MINMAX);
            hsv_split_Farneback[0] = ang_Farneback;
            hsv_split_Farneback[1] = mag_Farneback;
            hsv_split_Farneback[2] = Mat::ones(ang_Farneback.size(), ang_Farneback.type());
            merge(hsv_split_Farneback, 3, hsv_Farneback);
            cvtColor(hsv_Farneback, rgb_Farneback, COLOR_HSV2BGR);
            cv::Mat rgbU_Farneback;
            rgb_Farneback.convertTo(rgbU_Farneback, CV_8UC3,  255, 0);
            cv::imshow("FlowFarneback", rgbU_Farneback);
            Mat rgbU_Farneback_b = rgbU_Farneback.clone();
            Mat split_Fb[3];
            split(rgbU_Farneback_b, split_Fb);
            split_Fb[2] = prevgray;
            Mat merge_Fb;
            merge(split_Fb, 3, merge_Fb);
            cv::imshow("FlowFarneback_mask", merge_Fb);
            cv::waitKey(1);
        }


        std::swap(prevgray, gray);
    }

    return 0;
}

CMakeList.txt如下：

cmake_minimum_required(VERSION 3.12)
set(OpenCV_DIR "${XXX}/opencv4_install/lib/cmake/opencv4")
project(dis_optflow)

set(CMAKE_CXX_STANDARD 14)
find_package(OpenCV 4 REQUIRED)
include_directories( ${OpenCV_INCLUDE_DIRS})
add_executable(dis_optflow main.cpp)
target_link_libraries(dis_optflow ${OpenCV_LIBS})

扩展：opencv中颜色空间的转换

国际照明委员会（CIE）
按照使用类别可以分为：彩色色度学模型、工业彩色模型、视觉彩色模型。

• CIE-RGB由红绿蓝三种基色组成，但可能出现负值
• CIE-Lab
  在均匀色差空间中，相同距离的彩色色差与人眼主观感觉基本一致。有Luv和Lab两种均匀色差彩色模型。普遍认为，Lab彩色模型更接近人眼的主观感觉。
  
  lαβ色彩空间不仅基本消除了颜色分量之间的强相关性，而且有效地将图像的灰度信息和颜色信息分离开来。所以可以分别对三个通道图像进行独立的运算，而不需要修改另外两个通道的信息，从而不会影响原图像的自然效果。
  从RGB空间到lαβ空间的转换
  需要进行3次变换，即RGB->CIEXYZ->LMS->lαβ，具体步骤如下：
  其中LMS-Iαβ是基于对数据的主成分分析（PCA，Principal ComponentAnalysis）得到的，其中l为第一主成分，α为第二主成分，β为第三主成分。
  参考：Lab空间
• 视觉彩色模型：一般都由色相Hue，饱和度Satutation，明度Value或者Luminance、Intensity构成。
  • 基于孟塞尔彩色系统的HVC模型
    孟塞尔颜色系统是比较经典和理想的均匀的颜色表示系统。它在视觉上是等色差的，即沿色调H、亮度值I、或饱和度方向S上等量的变化产生相同的视觉差异。
    
  • HSV与HSB。。。

参考：opencv中的颜色空间转换

1.3 基于DL的光流估计

1.4 github repo:

PX4的光流模块：https://github.com/PX4/OpticalFlow
GPU版本的dense_flow:https://github.com/wanglimin/dense_flow.git
mori2015光流避障：https://github.com/tgarc/flownav
humanflow:https://github.com/anuragranj/humanflow