目标检测简介

随着计算机技术的发展和计算机视觉的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，目标检测技术在自动驾驶领域、安防领域、医疗影响领域等方面都具有广泛的应用价值。

对于目标检测，主要是关注两个问题： 1.目标在哪里？ 2.目标是什么？

关于目标检测的目标在哪里和目标是什么的两个问题，目前主流的解决方法是使用基于深度学习的方法来解决，基本流程如下： 第一步：使用卷积神经网络进行图像特征的提取； 第二部：对卷积神经网络的特征，通过标签来约束进行定位和分类识别的训练。

在自动驾驶领域主要有以下目标检测数据集：Cityscapes、BDD100K、CityPerson、Kitti、nuScenes、Waymo

BDD100K 数据集是加州大学伯克利分校 AI 实验室（BAIR）于 2018 年发布的，是当时最大规模、内容最具多样性的公开驾驶数据集之一。其包含的 10 万个高清视频序列，时长超过 1100 小时。其中，每个视频大约 40 秒长、720p、30 fps，还附有手机记录的 GPS/IMU 信息和时间戳，以显示大概的驾驶轨迹。BAIR 还对每个视频的第 10 秒对关键帧进行采样，得到 10 万张图片（图片尺寸：1280*720 ），并进行标注。 这些图片还被标记了：图像标记、道路对象边界框、可驾驶区域、车道标记线和全帧实例分割。这些注释有助于理解不同场景中数据和对象统计的多样性。 数据集中的视频是从美国各地收集的，涵盖不同时间、不同天气条件（包括晴天、阴天和雨天，以及白天和晚上的不同时间）和驾驶场景。收集数据集的地理位置分布在纽约、伯克利、旧金山等地。 数据集中，道路目标检测是为公共汽车、交通灯、交通标志、人、自行车、卡车、摩托车、汽车、火车和乘车人等 100000 张图片上标注 2D 边界框； 实例分割被用于探索具有像素级和丰富实例级注释，相关图像超过 10000 张； 车道标记是在 10 万张行车图片上的多种车道标注。车道标记类图片中，标注了实线、虚线、双线、单线等。

Kitti数据集是由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，利用组装的设备齐全的采集车辆对实际交通场景进行数据采集获得的公开数据集。 Kitti数据集包括：深度估计标注、视觉里程计标注、2D和3D目标标注、跟踪序列标注、语义分割与实例分割标注以及可行驶区域的标注。

KITTI数据集采集车的配置 KITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。

nuScenes数据集是由Motional团队开发的自动驾驶公共大规模数据集。在波士顿和新加坡收集了1000个驾驶场景，这两个城市以其密集的交通和极具挑战性的驾驶环境而闻名。手动选择20秒时长的场景，以展示多样化和有趣的驾驶机动、交通状况和意外行为。收集不同大陆的数据进一步使我们能够研究计算机视觉算法泛化能力，在不同位置、天气条件、车辆类型、植被、道路标记以及左右手交通。 2019年3月发布了包含全部1000个场景的完整nuScenes数据集。完整的数据集包括大约140万个相机图像、39万个激光雷达扫描、140万个毫米波雷达扫描和4万个关键帧中的140万个边界框。nuScenes数据集的灵感来自开创性的 KITTI数据集。nuScenes是第一个提供来自自动驾驶汽车的整个传感器套件（6个摄像头、1个激光雷达、5个雷达、GPS、IMU）的数据的大规模数据集。与KITTI相比，nuScenes包含7倍以上的对象标注。 应对目标检测和跟踪任务，在整个数据集上用2Hz的准确3D边界框注释23个对象类别。此外，标注了对象级别的属性，例如可见性、运动和姿态。 2020年7月发布了nuScenes-lidarseg。应对激光雷达语义分割任务中，使用32个可能的语义标签为nuScenes的关键帧中标注每个激光雷达点。因此，nuScenes-lidarseg在40000个点云和1000个场景（850 个用于训练和验证的场景，以及150个用于测试的场景）中包含14亿个标注点。

nuScenes 数据集采集车的配置 组成：6 个摄像头、1 个激光雷达、5 个Lidar、GPS、IMU。

为了在 Lidar和摄像头之间实现良好的跨模态数据对齐，当顶部 Lidar扫过摄像头 FOV 的中心时，会触发摄像头的曝光。图像的时间戳为曝光触发时间；而激光雷达扫描的时间戳是当前激光雷达帧实现全旋转的时间。鉴于相机的曝光时间几乎是瞬时的，这种方法通常会产生良好的数据对齐。 请注意，相机以 12Hz 运行，而 Lidar以 20Hz 运行。 12 次相机曝光尽可能均匀地分布在 20 次激光雷达扫描中，因此并非所有激光雷达扫描都有相应的相机帧。 将摄像头的帧速率降低到 12Hz 有助于降低感知系统的计算、带宽和存储需求。

目标检测主流方法

目标检测算法分类： 1、两阶段目标检测：先找出候选的一些区域，再对区域进行调整分类 代表：R-CNN、SPP-net、Fast R-CNN、Faster R-CNN 2、单阶段目标检测：采用一个网络一步到位，输入图片，输出有哪些物体，并输出物体具体在什么位置 代表：YOLO、SSD