Thermal Object Detection using Domain Adaptation through Style Consistency

参考 Thermal Object Detection using Domain Adaptation through - 云+社区 - 腾讯云

---

摘要

最近发生的一起自动驾驶车辆致命事故引发了一场关于在自动驾驶传感器套件中使用红外技术以提高鲁棒目标检测可见性的辩论。与激光雷达、雷达和照相机相比，热成像具有检测红外光谱中物体发出的热差的优点。相比之下，激光雷达和相机捕捉在可见光谱，和不利的天气条件可以影响其准确性。热成像可以满足传统成像传感器对图像中目标检测的局限性。提出了一种用于热图像目标检测的区域自适应方法。我们探讨了领域适应的多种概念。首先，利用生成式对抗网络，通过风格一致性将低层特征从可见光谱域转移到红外光谱域。其次，通过转换训练好的可见光光谱模型，采用具有风格一致性的跨域模型进行红外光谱中的目标检测。提出的策略在公开可利用的热图像数据集(FLIR ADAS和KAIST多光谱)上进行评估。我们发现，通过域适应将源域的低层特征适应到目标域，平均平均精度提高了约10%。

1、简介

经过近40年的酝酿，自动驾驶正在成为现实，而使用深度神经网络的目标检测是这一成功的关键因素。自动驾驶汽车必须提供更广泛的可移动性，在这样做的同时，车辆及其周围环境的安全是首要考虑的问题。SOTIF(预期功能的安全性)详细反映了在没有技术系统故障情况下发生的安全违规。例如，无法感知环境中的物体，或被雾遮挡视线。自动驾驶汽车应该能够在这种情况下安全运行。环境感知对自动驾驶汽车的安全性起着至关重要的作用。环境感知一般定义为对周围环境的意识或认识，以及通过视觉感知对情况的理解。

在自动驾驶车辆中通常用于感知的传感器包括激光雷达、RGB摄像机和雷达。感知的一个基本方面是目标检测。上述传感器均用于目标检测。每个传感器都有自己的缺点。激光雷达提供了稀疏的环境三维地图，但是像行人和骑自行车的人这样的小物体很难在远处检测到。RGB相机在光照条件不好的情况下表现很差，如低照度，太阳眩光，以及来自车头灯的眩光。雷达的空间分辨率较低，无法准确地检测行人。[3]在恶劣光照条件下的目标检测存在缺口。传感器套件中包含的热感摄像机将填补环境感知方面的盲点。热成像相机是强大的对抗光照变化和有利的部署在白天和晚上。目标检测和分类是视觉感知中不可缺少的内容，为自动驾驶车辆的感知计算提供了基础。

在可见光谱(RGB)领域的目标检测被认为足以满足传统人工智能的应用，并产生了深度神经网络模型的鲁棒目标检测。然而，与可见光光谱相比，热成像中目标检测的精度还没有达到最先进的水平。上述目标检测算法依赖于在大型RGB数据集上训练的网络，如ImageNet、PASCAL-VOC和MS-COCO。在热领域，此类大规模公共数据集的稀缺程度相当。现有的两个主要城市热图像数据集包括FLIR ADAS图像数据集和KAIST多光谱数据集。KAIST多光谱数据集只对person进行注释，FLIR ADAS数据集对四个类进行注释。为了克服缺少大规模标记数据集的问题，本文提出了一种红外热图像目标检测的域采用技术。

目前，为了缩小源域和目标域之间的差距，已经引入了许多领域适配的方法。其中值得注意的是生成对抗网络(GAN)和域混淆的特征适应。在缺乏数据的红外热图像域的域适配应前景激励了本研究，探索在目标检测背景下缩小可见光和红外光谱差距的导数。领域适应受到生成模型的影响，例如，CycleGAN将源领域的单个实例转换为目标领域，而不将样式属性转换为目标领域。低层次视觉线索对[15]目标检测的性能有隐含的影响。将这些视觉线索从源域委托到目标域，有利于目标域内目标检测的鲁棒性。

这项工作探讨了使用域适应来改进目标域内目标检测的低层次特征从源域(RGB)到目标域(Thermal)的转换。利用多风格变换将曲率、边缘等低层特征从源域转移到目标域。基于深度学习的目标检测体系结构，如VGG， ResNet，在多风格的传输图像上从头训练，以实现红外光谱(目标域)目标检测的鲁棒性。此外，我们还提出了一种基于域适配的热图像目标检测跨域模型转换方法。目标检测深度神经网络在源域(可见谱)训练的跨域模型转移。训练后的模型被称为跨域模型，在目标域(红外光谱)中使用多风格传输图像和不使用多风格传输图像进行评估。采用FLIR ADAS和KAIST多光谱对所提技术进行评价，PASCAL VOC评价用于确定被检测物体的平均精度。

本文的主要贡献如下：

1. 在数据层面融合两个域用于目标检测，并通过使用FLIR ADAS和KAIST多光谱数据集进行广泛的实验来确认假设。 本文的基本论点是，风格转移将低频特征从源域降级到目标域，形成了提高检测和分类精度的基础。  
2. 改进红外光谱(热图像)中的目标检测，通过风格一致性探索低级特征。 提出的目标检测框架在平均平均精度方面优于现有基准。  
3. 跨域模型转移范式不仅增强了红外光谱(热图像)中的目标检测，而且为未标记数据集的标记提供了一种替代而有效的方法。  

本文提出了一种改进热图像目标检测的新方法，即采用风格转移的域自适应方法来转移知识。 这项工作的主要动机是处理缺乏或不存在的标签数据，这是一个最大的挑战，对数据的标签是一个昂贵的任务。  

本文的组织结构如下:第二节对相关文献进行了讨论。 在第三节中，讨论了拟议的方法。 第四节着重于实验和结果分析。 第五节对所提出的方法进行了比较和讨论。 第六部分是本研究的总结。  

2、相关工作

2.1、目标检测

人类的视觉能够在无数具有挑战性的条件下识别物体，但这对自动驾驶来说不是一项简单的任务。 图像中目标检测的最终目标是定位和识别图像中存在的相同或不同目标的所有实例。 通过考虑热体与冷体之间的温差，对热图像中的人的检测做了重要的工作。 经典的图像处理技术可以用于检测，比如[34]中使用的阈值。 他们根据一个模型制定了阈值，该模型考虑了不同热图像的特征。 利用梯度方向直方图(Histogram of oriented gradient, HOG)特征和局部二值模式(Local Binary Patterns, LBP)特征从热图像中提取特征，并用这些特征训练中的支持向量机(SVM)分类器。 [19]使用HOG特征结合均值和对比度等几何特征来计算一组特征，然后使用这些特征来训练SVM分类器。 与深度神经网络相比，传统的热目标检测方法缺乏鲁棒性和准确性，不适用于自动驾驶车辆的动态状态。 深度神经网络在RGB图像的目标检测任务中获得了声誉，并被用于热图像[17]的目标检测。 在[21]中，他们首先分别对热图像和RGB图像训练两个独立的卷积网络。 然后他们提出了四种融合架构，将两个卷积网络在不同的卷积阶段进行融合。 他们发现卷积神经网络训练在热图像和RGB图像上对识别热图像中的目标提供了互补的信息，从而获得了更好的性能。 [41]也进行了类似的工作，他们提出了融合体系结构，以研究使用多光谱数据进行热目标探测的好处。 [39]提出了一种实时多光谱行人检测器，通过训练You Only Look Once (YOLO)目标检测器，除了第四通道的热外，还输入3个RGB通道。 [2]提出了一种基于目标增强多尺度分解模型的热域与可见光域融合方法。 利用拉普拉斯金字塔计算热图像中的低频特征，并将其与可见光光谱进行融合，改善目标的特征，提高了目标识别和检测的可靠性。  

2.2、域适配

通常情况下，由于环境的变化，神经网络在不同的数据集上进行测试时会遇到性能下降。在某些情况下，数据集不够大，不足以训练和优化网络。因此，像域适配这样的技术为研究界提供了一个重要的工具。

目标检测的领域适应技术包括生成合成数据或对真实数据进行扩充以训练网络。 [25]使用了来自不同领域和多个类的公开可用的目标检测标记数据集并合并它们。 例如，时尚数据集Modanet与MS-COCO数据集通过使用领域自适应利用Faster-RCNN合并。 [4]中使用Faster-RCNN进行图像和实例级自适应。 [28]引入了一种两步方法，其中他们对检测器进行了低级特征的优化，然后通过加强内容和样式图像之间的距离最小化，将其开发为高级特征的健壮分类器。 [44]提出了一种跨域半监督学习结构，利用伪注释学习目标域的最优表示。 他们使用了细粒度的领域转移、渐进的基于置信度的注释增强和注释采样策略。

2.3、迁移学习

在实际应用中，训练和测试数据不属于相同的特征空间或具有类似的数据分布，尽管大多数机器学习算法都持有这种假设。 鉴于违反这一假设，大多数机器学习模型需要使用新的标记训练数据重建。 对于这种任务迁移，学习有助于在任务域之间迁移知识。 [20]用很少的训练例子展示了基于迁移学习的目标检测数据集框架。 通过从其他类导入示例并将它们转换为更类似于目标类，他们扩展了每个类的示例。 [43]提供了一个从多个来源转移学习的促进框架。 知识的蛮力传递可能会传递弱关系，从而降低分类器的性能。 知识从多个来源借鉴，以避免负迁移。 [23]进行了一项研究，以检验迁移学习的有效性受数据集选择的影响。 他们提出了自适应迁移学习，这是一种基于目标数据集的权重计算的简单有效的前训练技术。 [15]利用域适配迁移学习解决了细粒度的视觉分类问题。 他们通过视觉注意机制增加数据，然后在基础网络上对数据进行微调，从而为神经网络提供额外的数据。 [42]提出了一种基于迁移学习的新技术，将源任务中的知识转移到包含不确定标签的目标任务中。  

2.4、风格迁移

图像样式传输是将来自一个域的图像内容与来自另一个域的另一个图像的样式呈现的过程。[32]演示了利用卷积神经网络的特征表示在两幅图像之间进行样式转换。他们证明了从CNN得到的特征是可分离的。它们操纵样式图像和内容图像之间的特征表示，以生成新的、在视觉上有意义的图像。[33]提出了基于单个对象的样式转换。他们使用补丁置换训练GAN学习样式并将其应用到内容图像中。[34]引入了XGAN，它由自动编码器组成，以无监督的方式从样式和内容图像捕获共享特性，并学习样式到内容图像的转换。[35]提出了CoMatch layer，它学习特征的二阶统计量，并将其与风格图像进行匹配。利用CoMatch层，他们开发了具有实时性能的多风格生成网络。

在上述相关文献的基础上，从目标检测、迁移学习、风格迁移、领域适应等方面，热目标检测还有待改进。 深度神经网络在可见光谱RGB域对特征提取的分类、检测和预测问题进行了改进，大大提高了无需人工监督的特征提取的复现性。 此外，提出的方法的优势是对其他数据集执行域适配，比如在KITTI数据集中引入雾天气或将白天的图像转换为夜晚的图像。  

3、提出的方法

本节介绍了基于风格一致性和跨域模型转换的热目标检测方法，用于热图像中的目标检测。

3.1、基于风格一致性(ODSC)的热图像目标检测

最近在深度学习方面的进展已经彻底改变了RGB图像领域的目标检测领域。但是，在红外图像领域，它缺乏准确性。用于目标检测的深度神经网络在低级和高级上执行特征计算。在这部分的工作中，我们认为，通过使用域适应从源域(RGB)转移低层特征，可以提高目标域(热)的目标检测性能。

对于热图像(内容图像)和可见光谱图像(风格图像)的域适配，我们采用了多风格生成网络(MSGNet)进行风格转换。通过多风格生成网络将特定风格从源领域翻译到目标领域的优势，为CycleGAN提供了额外的优势。CycleGAN从源图像生成特定样式的翻译图像。MSGNet提供了将多样式从源域转换到目标域的功能，同时缩小了两个域之间的差距。该网络从源域提取纹理、边缘等低级特征，同时保持目标域的高级特征一致。图2(a)显示了从可见光谱(RGB)图像到热图像的风格转换框架。

MSGNet的架构如图2(a)所示。MSGNet网络同时以内容图像和风格图像作为输入，而之前已知的架构，如Neural Style，仅以内容图像为输入，然后生成传输图像。发生器网络(G)由由siamese网络[36]组成的编码器组成，编码器通过CoMatch层与变换网络共享网络权值。CoMatch层将内容图像的二阶特征统计量与风格图像进行匹配。对于给定的一幅内容图像和一幅风格图像，在第j个尺度上激活描述网络表示内容图像，其中、、分别为特征图通道数、特征图高度和宽度。风格图像中特征的分布采用Gram矩阵表示，由公式给出。为了在保持源图像语义内容同时匹配目标风格特征静态的CoMatch层中找到想要的解，我们采用了一种迭代逼近方法，将训练阶段的计算代价纳入如式3所示。

                       

                           

式中，为零输入数据在Gram矩阵中的重塑函数。

                                

其中是一个可学习的矩阵。

给定预训练的损失网络，生成网络输出与目标之间内容和风格差异的加权组合最小化。生成网络由给出，由，权值参数化。学习是通过对内容图像和样式图像进行采样，然后估计生成器的权重WG来最小化损失：

                                 

                                  

其中和为content和style loss的正则化参数。在尺度c考虑内容图像，在尺度考虑样式图像。全变分正则化是lTV，它用于生成图像[40]的平滑性。

提出的通过风格一致性进行目标检测的框架如图2所示。 该网络由两个模块组成; 第一部分由一个多风格的网络组成。 通过对由热图像组成的内容图像与由RGB图像组成的风格图像进行低级特征变换，生成风格图像。 与热图像相比，转移的风格图像包含低级特征，但生成的图像保留了语义形状，保持了高级语义特征的一致性。 第二个模块由最先进的检测架构组成:Faster-RCNN骨干与ResNet-101， SSD-300和512骨干VGG16， MobileNet和EfficientNet。 该网络在风格图像上进行训练，弥补了可见光光谱RGB图像和热图像之间的差距。 在热图像上对训练后的检测网络进行评价。 热图像检测的准确性表明了目标检测的有效性。 

4、实验和结果

4.1、数据集

在本研究中，我们使用了两个热图像数据集。第一个是FLIR ADAS数据集，第二个是KAIST多光谱数据集。FLIR数据集由9214幅图像和目标注释使用边界框作为评估度量。研究目标可分为四类，即：汽车、人、自行车和狗。但是，狗类的注释很少，因此本研究不考虑。图像分辨率640×512，来自FLIR Tau2相机。数据集由日夜图像组成，大约60%(6136)图像是在白天捕获的，40%(4092)图像是在夜间捕获的。数据集由可见光谱(RGB图像)和热图像组成，但仅对热图像提供注释。可见光谱(RGB图像)和热图像没有配对，因此热注释不能与可见光谱(RGB图像)一起使用。本研究只考虑带标注的热图像。在实验期间考虑将数据集的标准分割成训练数据和验证数据。训练数据集由8862幅图像组成，验证包含1366幅图像。

KAIST Multi-Spectral数据集包含95000幅可见光(RGB图像)和热光谱图像，对于每个类别，数据集既有白天图像，也有夜间图像。注释只提供给person类一个给定的边框。可见光谱(RGB图像)和热图像是成对的，这意味着对热图像和可见光谱(RGB图像)的标注是相同的。使用分辨率为320×256的FLIR A35相机拍摄图像。我们应用了数据集的标准分割，在训练中使用数据集中80%的图像，在验证时使用数据集中20%的图像。

4.2、基于风格一致性的热图像目标检测

利用最先进的目标检测网络，验证了该方法的有效性。目标检测网络包括Faster-RCNN、SSD-300、SSD-512。这些目标检测网络采用不同的骨干结构实现；例如，在Fast R-CNN中，ResNet-101被用作骨干网络;SSD-300使用VGG16、MobileNet、EfficiententNet、采用VGG16作为骨干架构的SSD-512。数据集包括FLIR ADAS和KAIST多光谱数据集。FLIR ADAS数据集使用标准分割分为训练和测试，而KAIST数据集仅用于测试目标检测网络。所有的网络都是用Pytorch实现的，数据都是PASCALVOC格式。本研究采用标准的PASCAL-VOC评价标准。

4.2.1、基线

首先对Baseline方法进行了试验，以进行竞争分析。目标检测网络是按照其特定的训练配置进行训练的。在训练Faster-RCNN时，采用ResNet-101的预训练模型对热图像数据集进行调整和微调。网络是训练使用Adam优化，学习率为，动量为0.9，总共训练15个epoch。

SSD目标检测网络的实验评估由SSD-300和SSD-512两种不同架构组成。在训练SSD-300时，根据训练数据对预训练的骨干网模型进行微调。作为SSD-300骨干网络的VGG16、MobileNet和efficient entnet的学习率分别为、和。对于SSD-512实验，只有预先训练过的VGG-16作为训练的后端，学习率为。在拥有6GB计算内存的Nvidia-GTX-1080上，所有网络都使用了4的批处理大小。

                                      

4.2.2、实验配置

在提出的方法中，MSGNet被训练成内容图像，而RGB图像对应风格图像。在MSGNet的训练中，使用VGG16作为损失网络。采用在ImageNet数据集上预先训练好的loss network的权值来训练MSGNet。在损失网络中，平衡权如方程如式1所示，分别为和，而内容和风格的总变分正则化为。在实验配置中，迭代更新样式图像的大小，大小分别为[256;512;768]。内容图像的大小被调整为256×256。Adam优化器与学习率在训练配置使用。MSGNet在Nvidia-GTX-1080上总共训练了100个epoch，一批是4个epoch。

MSGNet的训练模型生成了如图1 (a)所示的风格图像，这些风格图像用于训练目标检测网络。通过对热成像测试数据的分析，对训练在风格图像上的检测网络进行评估。目标检测网络的训练配置保持与基线配置相似，进行对比分析。

4.2.3、实验结果

为了评估我们的实验配置，我们测试了基线和提出的方法，在两个热数据集(FLIR ADAS和KAIST多光谱)。表i显示了每个检测网络基线配置的平均平均精度(mAP)得分，即对网络进行热图像训练和热图像评价。表2为所提方法的定量结果。实验结果表明，该方法的最佳模型配置为(SSD512+VGG16)。与基线配置相比，该方法的最佳模型配置的地图得分具有更好的评价得分。相反，在热图像上训练的检测网络在风格图像上测试的检测网络表现出边际有效性，如表3所示。图1(a)是通过风格一致性对热图像中目标检测的定性结果。最佳模型配置(SSD512+VGG16)的定性结果如图4(1strow)所示。所提方法的最佳模型配置的mAP评分较基线配置有更好的评价评分。 我们通过在热图像上训练网络并在风格图像上进行测试来进行完整性检查。 在风格图像上测试的热图像上训练的检测网络表现出边缘效果，如表4所示。 图4- 5给出了所有检测网络分别在FLIR ADAS和KAIST多光谱上通过风格一致性对热图像中目标检测的定性结果。  

                                 

4.3、热图像中目标检测的跨域模型传输

为了进一步研究该方法，设计了一个用于热目标检测的跨域模型。 本研究的目的是分析训练的RGB检测模型对有风格图像和无风格图像的影响。 值得注意的是，对于跨域模型转移，源域和目标域的交换与本文的第一部分相比较。 这种配置的原因是为了分析在RGB域上训练的目标探测器的性能，当应用到热域时，由于域不变性的事实会产生不满意的结果。  

然而，如果将热域的样式应用于RGB域内容图像，则训练的RGB域目标检测网络的性能会得到提高，因为样式转换弥补了两个域之间的差距。 图3给出了热图像中跨域模型传输目标检测的总体框架。 在可见光谱(RGB图像)上训练检测网络(基于ResNet-101的Faster-RCNN主干网，基于VGG16的SSD-300主干网，MobileNet，以及基于VGG16主干网的SSD-512主干网)，然后在热图像上测试训练后的模型。 由于检测网络是在不同的域上训练的，在这种情况下，在可见光谱(RGB)图像上，这些网络在热图像上的性能将是边缘的，从结果可以看出。 采用风格一致性可以提高热目标检测的效果。 MSGNet以RGB图像为内容图像，借鉴热图像的风格进行训练。 然后将样式转换后的图像传递给之前在可见光谱(RGB)图像上训练过的相同检测网络，从而提高了热样式图像中的目标检测。 这种跨域模型传输可以作为未标记数据集的弱目标检测模块，就像我们对热图像的情况一样。  

                                 

4.3.1、CDMT上的实验配置

跨域模型评价采用目标探测器对可见光谱(RGB图像)进行训练。 本实验使用KAIST多光谱数据集，考虑到标签在两个域都可用。 本研究纳入的目标检测网络包括Faster-RCNN、SSD-300和SSD-512。 网络模型配置类似于ODSC。 Faster-RCNN是后端与ResNet-101骨干。 使用VGG16、MobileNet和EfficientNet骨干网对SSD-300网络进行了试验。 SSD-512是VGG16架构的后端。 除了采用EfficientNet主干网的SSD-300外，所有检测网络的训练学习率为，测试时采用。 上述所有检测网络的批大小均为4。  

与ODSC类似，使用MSGNet生成风格图片，如图1(b)所示。 在这种情况下，内容图像由可见域(RGB图像)组成，风格从热图像转移，这意味着内容图像(RGB图像)和风格图像(热图像)之间的风格转移增加了目标检测效果。 通过风格一致性，MSGNet超参数与热图像中目标检测的实验配置保持一致。 检测网络随后在这些生成的样式图像上进行测试。  

4.3.2、实验结果

通过对有风格图像和无风格图像(热图像)训练网络的评价，研究了该方法的评价。 表5为跨域模型迁移的定量结果。 定量研究结果表明，采用带有风格转移的跨领域模型转移比不采用风格转移的跨领域模型转移提高了目标检测效率。 此外，采用跨域模型迁移的方法可以克服标注未标记数据集的缺陷，并可作为未标记数据集的弱检测器。 所有检测网络对CDMT使用风格转移的定性评价如图7所示。  

5、讨论

对于所提出的方法的有效性，我们使用最先进的方法进行了广泛的分析。 [14]提出了多光谱聚合通道特征来检测热图像中的行人，在有限的目标域内进行测试，而本研究的目的是扩展自动驾驶车辆的目标检测。 [18]中提供了用于在热图像中检测人的最先进的深度神经网络的详细比较，[1]中提供了Faster-RCNN与三种不同的热图像数据集的详细比较，[1]是专门为自动驾驶车辆进行评估的。 [10]利用其显著性地图增强多光谱图像，利用一种注意力机制，在白天将注意力集中在行人上。 他们训练了Faster-RCNN用于行人检测，并在提取的特征地图上进行微调。 [7]使用CycleGAN从RGB图像生成热图像，消除了数据集中RGB和热图像配对的依赖性。 他们使用了Faster-RCNN的一种变体，它同时使用热图像和RGB图像来检测目标。 然而，与这些方法相比，我们采用了一种新的框架，在图像数据级将低阶特征从源域转移到目标域，并训练了用于热目标检测的深度神经网络。 所提出的方法(ODSC和CDMT)与最新方法的比较如表6所示。 我们的分析考虑了标准的PASCAL-VOC评价方法用于调情- adas和KAIST多光谱数据集。  

除了mAP分数，类mAP分数也与最先进的方法进行比较，并与提出的方法进行比较。 此外，该方法的比较并不局限于只包含域自适应的方法。 将目标检测结果与PiCA-Net[10]和R3Net[10]等常用的目标检测方法进行比较，这些方法都使用显著性图对热图像进行目标检测。 从表6可以明显看出，在大多数类别中，我们提出的策略比现有的基准具有更好的性能效能。  

本方法中检测神经网络的推理帧率如表7所示。 每秒的帧数是在拥有12GB内存的Nvidia-TITAN-X
上计算的。 对于未标记数据集的弱标记环境下的跨域模型转移使用，我们使用i3 系统TE-EQ1 / TE-EV1热像仪收集的我们自己的未标记数据集进行了实验。 图6展示了跨域模型迁移实现的弱标签标注。 结果仅显示真阳性(TP)、假阳性(FP)和假阴性(FN)。 整个未标记数据集的总体准确率为67.36%。 

6、结论

本研究提出了一种适用于自动驾驶中暴露不足区域目标检测的域自适应框架。 该框架通过风格一致性实现了从可见域到热域的域自适应，并利用MSGNet将低级特征从源域转移到目标域，使高级语义特征保持不变。 该方法在热图像目标检测方面优于现有的基准方法。 此外，采用了可见域和热域之间的跨域模型转移，增强了风格转移的有效性。  

该框架在低光照条件下的自动驾驶中得到了应用。 物体检测是感知核心的一个组成部分，无法检测物体将危及自动驾驶的安全性。 热图像提供了来自周围环境的额外有意义的数据，提出的框架改善了热图像中的目标检测结果，从而提高了自动驾驶的安全性。 在未来的工作中，我们的目标是将车道检测和分割结合到提出的框架中，利用热图像。