PINet

1 算法流程

采用关键点检测+实例分割的思想，完成对车道线点位置的定位，以及每个检测点属于哪个车道线示例。共包含三个检测头：

1. 检测头

1.1 Confidence Branch

预测每一个grid_ceil里车道线点存在的置信度

1.2 Offset Branch

预测车道线点因下采样造成的中心点偏移量

1.3 Feature Branch

约束属于同一实例的车道线点具有相似的feature，从而使网络能够得到车道线实例

2 标签制作

主要包括关键点标签制作+实例分割标签制作

2.1 确定heatmap中是否存在车道线点，以及点的偏移量offset

    def make_ground_truth_point(self, target_lanes, target_h):

        target_lanes, target_h = util.sort_batch_along_y(target_lanes, target_h)
			# GT：[8, 3, 32, 64]
        ground = np.zeros((len(target_lanes), 3, self.p.grid_y, self.p.grid_x))
        ground_binary = np.zeros((len(target_lanes), 1, self.p.grid_y, self.p.grid_x))

        for batch_index, batch in enumerate(target_lanes):
            for lane_index, lane in enumerate(batch):
                for point_index, point in enumerate(lane):
                    if point > 0:
                        x_index = int(point/self.p.resize_ratio)
                        y_index = int(target_h[batch_index][lane_index][point_index]/self.p.resize_ratio)
                        ground[batch_index][0][y_index][x_index] = 1.0   # 该位置存在关键点
                        ground[batch_index][1][y_index][x_index]= (point * 1.0 / self.p.resize_ratio) - x_index   # x的偏移量
                        ground[batch_index][2][y_index][x_index] = (target_h[batch_index][lane_index][point_index] * 1.0 / self.p.resize_ratio) - y_index  # y的偏移量
                        ground_binary[batch_index][0][y_index][x_index] = 1

        return ground, ground_binary

2.2 实例分割标签制作

①. 生成[b，c，wh, wh]维度的相似性矩阵
②. 根据点和点之间的实例关系、类别关系生成相似性矩阵的GT，其中相同实例，相同类别标签为1，不同实例，相同类别标签为2，不同实例，不同类别标签为3。

            for i in range(self.p.grid_y * self.p.grid_x): #make gt
                temp = temp[temp > -1]
                gt_one = deepcopy(temp)
                if temp[i] > 0:
                    gt_one[temp==temp[i]] = 1   #same instance， temp中和temp
                    if temp[i] == 0:
                        gt_one[temp!=temp[i]] = 3 #different instance, different class
                    else:
                        gt_one[temp!=temp[i]] = 2 #different instance, same class
                        gt_one[temp==0] = 3 #different instance, different class
                    ground[batch_index][0][i] += gt_one

3 损失函数

①. heatmap损失是否存在关键点：MSE —优化：BCE or focal loss
②. offset损失：MSE —优化：BCE
③. instance损失：MSE
c_ij = 1， 约束相同类别、相同实例的点越接近。
c_ij = 2， 约束相同类别、不同实例的点越远离。

4 推理阶段

①. 根据关键点检测与offset还原不同车道线点的位置
②. 利用instance branch的结果计算点与点之间的L2距离，由于instance branch 保证了相同实例的特征点距离较近，通过阈值筛选，可以获得相同实例的车道线点。

5 优化措施：

①. 根据车型，裁减了y>300的背景像素，提升有效分辨率
②. 利用斜率对相同车道线的点、远距离的车道线进行了加权强化学习
③. 将原始的关键点类别损失替换为focal loss，offset 损失替换为BCE