CARLA 笔记（4th）— 基础模块使用（client、world、Actor 与 Blueprint、搭建Sensor、Camera、Lidar 构建、观察者放置）

3. 搭建传感器 Sensor

Sensor 是一种特殊的 Actor，它的蓝图也是可以在蓝图库里边找到的，目前 Carla 已经支持了很多传感器，比如

• 摄像头： Depth， RGB ， Semantic segmentation
• 探测器： Collision ， Lane invasion ， Obstacle
• 其他： GNSS ， IMU ， LIDAR raycast ， Radar

传感器跟其他的 Actor最大的不同是，它们需要被安装在车上，因此在生成传感器的时候，需要将其附着到一个车辆类型的 Actor 上，而出生点是针对于这台车本身的坐标系给定的。

在这里先简单介绍下 Carla 有哪些Sensors ， 在 Python API reference 里有对每一种数据格式类别的详细介绍。

Sensor	Sensor输出数据形式	功能	类别
RGB Camera	carla.Image	普通的RGB相机	Cameras
深度相机	carla.Image	深度相机，以灰度图形式储存	Cameras
分割相机	carla.Image	直接输出景物分割图，不同颜色代表不同的种类	Cameras
Collision	carla.CollisionEvent	汽车发生碰撞时启动，会将事故的信息记录下来	Detector
Lane invasion	carla.LaneInvasionEvent	汽车变道时启动，将Lane ID与汽车ID记录下来	Detector
Obstacle	carla.ObstacleDetectionEvent	将可能挡在前方行驶道路上的物体记下	Detector
GNSS	carla.GNSSMeasurement	记录车子的地理位置	Other
IMU	carla.IMUMeasurement	记录汽车的轴加速度与角加速度	Other
LIDAR	carla.LidarMeasurement	激光雷达	Other
Radar	carla.RadarMeasurement	声波雷达	Other
Semantic LIDAR	carla.SemanticLidarMeasurement	除了3D点云外，还提供额外的Semantic信息	Other

我们以 Camera 与激光雷达建立连接为例。

3.1 Camera 构建

与汽车类似，我们先创建蓝图，再定义位置，然后再选择我们想要的汽车安装上去。不过，这里的位置都是相对汽车中心点的位置（以米计量）。

camera_bp = blueprint_library.find('sensor.camera.rgb')
camera_transform = carla.Transform(carla.Location(x=1.5, z=2.4), carla.Rotation(pitch=8.0))
camera = world.spawn_actor(camera_bp, camera_transform, ego_vehicle, carla.AttachmentType.SpringArm)

我们选择了摄像头附着类型为：carla.AttachmentType.SpringArm，并将其位置设置到后方，这样我们就可以像从一个第三者的角度拍到行驶的车辆了。

每一个传感器都有一个 listen 方法，该方法接收一个 callback 作为参数，我们可以自定义 callback 里边的逻辑，callback 将会在传感器拿到数据后被调用，并能够获取到这些数据。这个例子中，我们将摄像头采集到的图像信息以图片的形式保存下来。

camera.listen(lambda image: image.save_to_disk(os.path.join(output_path, '%06d.png' % image.frame)))

跟其他 Actor 一样的，传感器也有很多参数可以设置，比如对于 RBG 摄像头来说，我们可以设置其采集的分辨率。

3.2 Lidar 构建

Lidar 可以设置的参数比较多，现在就知道我们设置了一些常用参数就好。

lidar_bp = blueprint_library.find('sensor.lidar.ray_cast')
lidar_bp.set_attribute('channels', str(32))
lidar_bp.set_attribute('points_per_second', str(90000))
lidar_bp.set_attribute('rotation_frequency', str(40))
lidar_bp.set_attribute('range', str(20))

接着把 lidar 放置在奔驰上, 定义它的 callback function 。

lidar_location = carla.Location(0, 0, 2)
lidar_rotation = carla.Rotation(0, 0, 0)
lidar_transform = carla.Transform(lidar_location, lidar_rotation)
lidar = world.spawn_actor(lidar_bp, lidar_transform, attach_to=ego_vehicle)
lidar.listen(lambda point_cloud: \
            point_cloud.save_to_disk(os.path.join(output_path, '%06d.ply' % point_cloud.frame)))

3.3 观察者（spectator）放置

当我们去观察仿真界面时，我们会发现，自己的视野并不会随我们造的小车子移动，所以经常会跟丢它。解决这个问题的办法就是把 spectator 对准汽车，这样小汽车就永远在我们的视野里了！

while running:
	spectator = world.get_spectator()
	transform = ego_vehicle.get_transform()
	spectator.set_transform(carla.Transform(transform.location + carla.Location(z=20),
	                                                    carla.Rotation(pitch=-90)))
	time.sleep(3)

我们利用上边这段代码，将观察者的位置到我们的车辆的正上方（z 轴），并将视角调为 -90 度，即向下看，每隔 3s 中跟着车辆的位置重置一下观察者的位置，这样就可以在车辆的正上方追踪并观察这台车了。

放置观察者后效果如下，我们将以俯视的角度观察它的运行：

下图就是我们使用 carla.AttachmentType.SpringArm 附着类型采集到的照片

完整代码如下：

import time
import carla
import numpy as np

# Create client and connected to the server
client = carla.Client("localhost", 2000)
client.set_timeout(10.0)

# get world
world = client.load_world('Town02')
weather = carla.WeatherParameters(
    cloudiness=0.0,
    precipitation=0.0,
    sun_altitude_angle=50.0)
world.set_weather(weather)

# get vehicle blueprint
model3_bp = world.get_blueprint_library().find('vehicle.tesla.model3')
model3_bp.set_attribute('color', '255,255,255')

camera_bp = world.get_blueprint_library().find('sensor.camera.rgb')

# spawn vehicle(Actor)
spawn_points = world.get_map().get_spawn_points()
model3_spawn_point = np.random.choice(spawn_points)
model3 = world.spawn_actor(model3_bp, model3_spawn_point)
model3.set_autopilot(True)


# spawn camera
camera = world.spawn_actor(camera_bp,
                           carla.Transform(carla.Location(x=-5.5, z=2.5), carla.Rotation(pitch=8.0)),
                           model3,
                           carla.AttachmentType.SpringArm
                           )
camera.listen(lambda image: image.save_to_disk('./output/%06d.png' % image.frame))

while True:
    spectator = world.get_spectator()
    transform = model3.get_transform()
    spectator.set_transform(carla.Transform(transform.location + carla.Location(z=20), carla.Rotation(pitch=-90)))
    time.sleep(5)

4. 查看储存的照片与3D点云

储存的 RGB 相机图如下：

查看点云图需要另外安装 meshlab, 然后进入 meshlab 后选择 import mesh ：

sudo apt-get update -y
sudo apt-get install -y meshlab
meshlab

不知道小伙伴有没有发现自己储存的照片是不连续的，存在掉帧现象？这是因为 Carla Simulation Server 与 Client 默认为异步进行，也就是说 server 并不会等 client 处理完手头的事再进行模拟，它会以最快的速度进行模拟，这就导致你的 client 如果处理过慢，还没来得及储存第 K 个 data , simulation 早就进行到了第 K+10 步，也就会产生掉帧了。

所以在下一节，我会介绍 Carla 里很重要的一个模块——同步模式，以此来解决我们掉帧的问题。

https://github.com/DerrickXuNu/Learn-Carla