Apollo基于卷积神经网络分割

最新推荐文章于 2024-07-09 15:57:46 发布

qq_41206519

最新推荐文章于 2024-07-09 15:57:46 发布

阅读量1.3k

点赞数 3

分类专栏： Applo

Applo 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

该阶段的输入数据来自高精地图ROI过滤器过滤得到的点云数据

该阶段主要分为4个子过程：

通道特征提取
基于卷积神经网络的障碍物预测
障碍物集群
后期处理

通道特征提取

给定一个点云框架(cloud_roi)，Apollo在地方坐标系中构建俯视图（即投影到X-Y平面）2D网格。基于点的X、Y坐标，相对于LiDAR传感器原点的预定范围内，每个点被量化为2D网格的一个单元。量化后，Apollo计算网格内每个单元格中点的8个统计测量，这将是下一步中传递给（卷积神经网络）CNN的输入通道特征。计算的8个统计测量：

单元格中点的最大高度
单元格中最高点的强度
单元格中点的平均高度
单元格中点的平均强度
单元格中的点数
单元格中心相对于原点的角度
单元格中心与原点之间的距离
二进制值标示单元格是空还是被占用（单元格内是否有点）

其中单元格中心相对于原点的角度和距离，只和单元格位置有关，其余特征通过对点的特征（点云中的位置x,y,z和强度）进行计算获得。
具体的计算方法如下：

/// file in apollo/modules/perception/obstacle/lidar/segmentation/cnnseg/cnn_segmentation.cc
bool FeatureGenerator<Dtype>::Init(const FeatureParam& feature_param, caffe::Blob<Dtype>* out_blob) {
  for (int row = 0; row < height_; ++row) {
    for (int col = 0; col < width_; ++col) {
      int idx = row * width_ + col;
      // * row <-> x, column <-> y
      float center_x = Pixel2Pc(row, height_, range_);     // 计算映射坐标: center_x
      float center_y = Pixel2Pc(col, width_, range_);      // 计算映射坐标: center_y
      constexpr double K_CV_PI = 3.1415926535897932384626433832795;
      direction_data[idx] = static_cast<Dtype>(std::atan2(center_y, center_x) / (2.0 * K_CV_PI)); // 计算方向direction_data(channel 6)
      distance_data[idx] = static_cast<Dtype>(std::hypot(center_x, center_y) / 60.0 - 0.5);       // 计算距离compute distance_data(channel 7)
    }
  }
  return true;
}

void FeatureGenerator<Dtype>::Generate(const apollo::perception::pcl_util::PointCloudConstPtr& pc_ptr) {
  for (size_t i = 0; i < points.size(); ++i) {
    // 1. 去除高度在 [-5.0,5.0]之外的点
    ...
    // 2. 去除在x:[-60,60], y:[-60,60]之外的点
    ...
    float pz = points[i].z;    
    float pi = points[i].intensity / 255.0;
    if (max_height_data_[idx] < pz) {        //更新单元格中最高的点max_height_data(channel 1)
      max_height_data_[idx] = pz;
      top_intensity_data_[idx] = pi;		 // 更新单元格中强度最大的点 top_intensity_data(channel 2)
    }
    mean_height_data_[idx] += static_cast<Dtype>(pz);    //累积单元格高度
    mean_intensity_data_[idx] += static_cast<Dtype>(pi); // 累积单元格强度
    count_data_[idx] += Dtype(1);                        //计算单元格中的点数 count_data(channel 5)
  }

  for (int i = 0; i < siz; ++i) {
    constexpr double EPS = 1e-6;
    if (count_data_[i] < EPS) {
      max_height_data_[i] = Dtype(0);
    } else {
      mean_height_data_[i] /= count_data_[i];       // 计算单元格平均高度 mean_height_data(channel 3)
      mean_intensity_data_[i] /= count_data_[i];    // 计算单元格平均强度mean_intensity_data(channel 5)
      nonempty_data_[i] = Dtype(1);                 // 二进制值标示单元格是空还是被占用nonempty_data(channel 8)
    }
  }
}

/// file in apollo/modules/perception/obstacle/lidar/segmentation/cnnseg/util.h
inline float Pixel2Pc(int in_pixel, float in_size, float out_range) {
  float res = 2.0 * out_range / in_size;
  return out_range - (static_cast<float>(in_pixel) + 0.5f) * res;
}