Carla学习（五） Carla常用传感器

Depth camera,输出carla.Image，深度相机使用三通道RGB值存储距离信息，然后将其转换为距离灰度图：

normalized = (R + G * 256 + B * 256 * 256) / (256 * 256 * 256 - 1)
in_meters = 1000 * normalized

传感器数据包含：

• frame：第几帧
• timestamp：仿真时间
• transform：世界坐标
• width：图像宽度
• height：图形高度
• fov：相机的水平角度
• raw_data：BGRA 32位像素的数组。

---

LIDAR sensor，输出carla.LidarMeasurement：

传感器数据包含：

• frame
• timestamp
• transform
• horizontal_angle:当前帧中LIDAR的XY平面中的角度（弧度）
• channels:雷达通道数量
• get_point_count(channel):每个通道捕获的点的数量
• raw_data:32位浮点数组（每个点的XYZI，I指衰减强度），原始点云

carla.LidarMeasurement是carla.LidarDetection的集合，carla.LidarDetection包含了每个点的信息，也就是raw_data。

---

Radar Sensor，输出carla.RadarMeasurment

传感器数据包含：

• raw_data：points detected的集合

每个points detected保存在carla.RadarDetection格式中，包含四个属性：

• altitude的仰角
• azimuth的水平角
• depth：点距传感器距离
• velocity：点的速度

---

RGB camera，输出carla.Image，充当常规摄像机，用于捕获场景中的图像。

传感器数据包含：

• frame
• timestamp
• transform
• width
• height
• fov
• raw_data：BGRA 32位像素的数组。

---

Semantic LIDAR sensor，输出carla.SemanticLidarMeasurement,它和LIADR相似，但是存在两个不同：

• 包含更多的语义信息

1. 点的坐标（和LIDAR一样）
2. 入射角和碰撞表面法线之间的余弦值
3. 实例和分割的ground-truth。命中CARLA目标的索引和语义标签。

• 语义激光雷达不包含强度、drop-off属性，也不包含噪声属性。

输出数据包含：

• frame
• timestamp
• transform
• horizontal_angle
• channels
• get_point_count(channel)
• raw_data:包含点云以及实例和语义信息的矩阵。 对于每个点，将存储四个32位浮点数。XYZ坐标、入射角余弦，对象无符号索引，对象语义无符号整数。

---

Semantic segmentation camera,输出carla.Image。通过根据其标签以不同的颜色显示它来对可见的每个物体进行分类。文档提供了各个对象的固定RGB值。

传感器数据：

• frame
• timestamp
• transform
• width
• height
• fov
• raw_data:BGRA 32位像素的数组。

---

其它传感器：

• Collision detector
• GNSS sensor：全球导航系统
• IMU sensor：惯性测量单元
• Lane invasion detector
• Obstacle detector
• DVS camera：动态视觉传感器（DVS）或事件摄像机是与传统摄像机完全不同的传感器。事件相机不是以固定的速率捕获强度图像，而是以事件流的形式异步测量强度变化，该事件流对每个像素的亮度变化进行编码。与标准相机相比，事件相机具有出色的性能。 它们具有很高的动态范围（140 dB对60 dB），没有运动模糊，并且具有很高的时间分辨率（以微秒为单位）。 因此，事件摄像机是即使在具有挑战性的高速场景和高动态范围环境中也可以提供高质量视觉信息的传感器，从而为基于视觉的算法提供了新的应用领域。