手把手教你利用算法工具链训练、量化、编译、可视化征程 6 参考算法 BEVFormer

已于 2024-09-02 22:57:10 修改
阅读量721 收藏 28
点赞数 16
分类专栏： 征程6上手教程 文章标签： 算法
于 2024-08-17 11:05:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/agorachenyun/article/details/141268980
版权
作者：杨一飞

1 环境部署

1.1 开发机准备

为了顺利地使用工具链，地平线建议您选择的开发机应满足以下要求：

硬件/操作系统要求 CPUCPU I3 以上或者同级别 E3/E5 的处理器内存16G或以上级别 GPUCUDA11.8、驱动版本 Linux:>= 510.39.01*

（推荐驱动版本 Linux:520.61.05）

适配显卡包括但不限于：

1. GeForce RTX 3090

2. GeForce RTX 2080 Ti

3. NVIDIA TITAN V

4. Tesla V100S-PCIE-32GB

5. A100 系统原生 Ubuntu 22.04

1.2 Docker 容器部署

地平线要求的 Docker 基础环境如下，请提前在您的宿主机上完成安装：

完成 Docker 基础环境安装后，还需要将无 root 权限的用户添加到 Docker 用户组中。参考命令如下：

sudo groupadd docker
sudo gpasswd -a ${USER} docker
sudo service docker restart

拉取 docker 镜像，并下载 OE 开发包，将 OE 开发包和 Nuscenes 数据集挂载到 docker 容器中。参考命令如下：

# GPU Docker
docker pull openexplorer/ai_toolchain_ubuntu_20_j6_gpu:{version}
# 手动启动 GPU Docker 镜像
docker run -it --rm
  --network host \ # 调整网络模式为host
  --gpus all \ # 在启动容器时，添加标记以启用GPU资源的访问
  --shm-size=15g \ # 修改共享内存大小，切记修改不然默认64MB
  -v {OE 包路径}:/open_explorer \ # 挂载 OE 包
  -v {数据集路径}:/data/horizon_j6/data \ # 挂载数据集
  openexplorer/ai_toolchain_ubuntu_20_j6_gpu:{version}

注意，“--gpus”参数一定要设置为 all，代表着在容器内能使用开发机所有的 GPU，“--shm-size”一定要修改，不然默认共享内存仅为64MB。

2 数据集准备

2.1 数据集下载

进入nuscenes官网，根据提示完成账户的注册，下载 Full dataset(v1.0)、CAN bus expansion和Map expansion（v1.3）、nuScenes-lidarseg 这四个项目下的文件。下载后的压缩文件为：

|-- nuScenes-map-expansion-v1.3.zip
|-- nuScenes-lidarseg-all-v1.0.tar.bz2
|-- can_bus.zip
|-- v1.0-mini.tar
|-- v1.0-trainval01_blobs.tar
|-- ...
|-- v1.0-trainval10_blobs.tar
`-- v1.0-trainval_meta.tar

Full dataset(v1.0)包含多个子数据集，如果不需要进行 v1.0-trainval 数据集的浮点训练和精度验证，可以只下载 v1.0-mini 数据集进行小场景的训练和验证。

2.2 Full dataset 版本数据集打包和 meta 文件夹构建

2.2.1 数据集打包

将下载完成的 v1.0-trainval01_blobs.tar~v1.0-trainval10_blobs.tar、nuScenes-lidarseg-all-v1.0.tar.bz2、v1.0-trainval_meta.tar、nuScenes-map-expansion-v1.3.zip和can_bus.zip 进行解压，解压后的目录如下所示：

|--nuscenes
    |-- can_bus #can_bus.zip解压后的目录
    |-- lidarseg #nuScenes-lidarseg-all-v1.0.tar.bz2解压后的目录
    |-- maps #nuScenes-map-expansion-v1.3.zip解压后的数据
    |-- samples #v1.0-trainvalXX_blobs.tar解压后的目录
    |   |-- CAM_BACK
    |   |-- ...
    |   |-- CAM_FRONT_RIGHT
    |   |--  ...
    |   `-- RADAR_FRONT_RIGHT
    |-- sweeps
    |   |-- CAM_BACK
    |   |-- ...
    |   |-- CAM_FRONT_RIGHT
    |   |--  ...
    |   `-- RADAR_FRONT_RIGHT
    |-- v1.0-trainval #v1.0-trainval_meta.tar解压后的数据
        |-- attribute.json
        |    ...
        `-- visibility.json

进入 horizon_model_train_sample/scripts 目录，使用以下命令将训练数据集和验证数据集打包，格式为 lmdb。如果将上述 nuscenes 文件夹放到上述目录内，下面 WORKSPACE 可替换为`pwd`。

#pack train_Set
python3 tools/datasets/nuscenes_packer.py --src-data-dir /WORKSPACE/nuscenes/ --pack-type lmdb --target-data-dir /WORKSPACE/tmp_data/nuscenes/v1.0-trainval --version v1.0-trainval --split-name train
#pack val_Set
python3 tools/datasets/nuscenes_packer.py --src-data-dir /WORKSPACE/nuscenes/ --pack-type lmdb --target-data-dir /WORKSPACE/tmp_data/nuscenes/v1.0-trainval --version v1.0-trainval --split-name val

打包结束生成目录如下所示。

|--scripts
    |-- tmp_data
        |-- nuscenes  
            |-- v1.0-trainval 
                |-- train_lmdb
                |   |--data.mdb
                |   |--lock.mdb    
                `-- train_lmdb
                    |--data.mdb
                    `--lock.mdb
  • --src-data-dir为解压后的 nuscenes 数据集目录；
  • --target-data-dir 为打包后数据集的存储目录；
  • --version  选项为["v1.0-trainval", "v1.0-test", "v1.0-mini"]，如果进行全量训练和验证设置为 v1.0-trainval，如果仅想了解模型的训练和验证过程，则可以使用 v1.0-mini 数据集；v1.0-test数据集仅为测试场景，未提供注释。
  • 全量的 nuscenes 数据集较大，打包时间巨长，如果仅仅作为学习使用 mini 版就好。

2.2.2 meta文件夹构建

  • 在 tmp_data/nuscenes 下创建 meta 文件夹，如果使用--version = "v1.0-mini",将解压后的 v1.0-mini 文件夹拷贝到tmp_data/nuscenes/meta 文件夹内，如果使用--version = "v1.0-trainval",将解压后的 v1.0-trainval 文件夹拷贝到tmp_data/nuscenes/meta 文件夹内；
  • 将解压后的maps文件夹拷贝到tmp_data/nuscenes/meta 文件夹内；
  • 将解压后的lidarseg文件夹拷贝到tmp_data/nuscenes/meta 文件夹内。

如果使用--version = "v1.0-trainval"，此时 tmp_data 的目录结构为：

|-- tmp_data 
|   |-- nuscenes 
|   |   |-- meta
|   |   |   |-- maps        
|   |   |   |   |-- 36092f0b03a857c6a3403e25b4b7aab3.png
|   |   |   |   |-- ...
|   |   |   |   |-- 93406b464a165eaba6d9de76ca09f5da.png
|   |   |   |   |-- prediction
|   |   |   |   |-- basemap
|   |   |   |   |-- expansion
|   |   |   |-- lidarseg     
|   |   |   |   |-- v1.0-mini
|   |   |   |   |-- v1.0-test
|   |   |   |   |-- v1.0-trainval
|   |   |   |-- v1.0-trainval  
|   |   |       |-- attribute.json
|   |   |           ...
|   |   |       |-- visibility.json
|   |   `-- v1.0-trainval 
|   |   |   |-- train_lmdb  
|   |   |   `-- val_lmdb

2.3 Mini dataset 版本数据集打包和 meta 文件夹构建

如果需要使用 mini 数据集，在 BEVFormer 对应的 config 文件"bevformer_tiny_resnet50_detection_nuscenes"中，需要更改以下配置：

float_trainer/predictor、calibration_trainer/predictor、qat_trainer/predictor、int_infer_predictor/int_infer_trainer的version：数据集的版本，选项为["v1.0-trainval", "v1.0-test", "v1.0-mini"]，选择"v1.0-mini"。

2.3.1 数据集打包

如果下载的是 Full dataset(v1.0)中的 Mini、CAN bus expansion 和 Map expansion（v1.3）、nuScenes-lidarseg 这四个项目下的文件，将下载完成的 v1.0-mini.tgz、nuScenes-lidarseg-all-v1.0.tar.bz2、nuScenes-map-expansion-v1.3.zip 和 can_bus.zip 进行解压，解压后的目录如下所示：

|--nuscenes
    |-- can_bus #can_bus.zip解压后的目录
    |-- lidarseg #nuScenes-lidarseg-all-v1.0.tar.bz2解压后的目录
    |-- maps #nuScenes-map-expansion-v1.3.zip解压后的数据
    |-- samples #v1.0-mini.tar解压后的目录
    |   |-- CAM_BACK
    |   |-- ...
    |   |-- CAM_FRONT_RIGHT
    |   |--  ...
    |   `-- RADAR_FRONT_RIGHT
    |-- sweeps #v1.0-mini.tar解压后的目录
    |   |-- CAM_BACK
    |   |-- ...
    |   |-- CAM_FRONT_RIGHT
    |   |--  ...
    |   `-- RADAR_FRONT_RIGHT
    |-- v1.0-mini #v1.0-mini.tar解压后的目录
        |-- attribute.json
        |
        `-- visibility.json

进入 horizon_model_train_sample/scripts 目录，使用以下命令将训练数据集和验证数据集打包，格式为 lmdb。如果将上述nuscenes文件夹放到上述目录内，下面 WORKSPACE 可替换为`pwd`。

#pack train_Set
python3 tools/datasets/nuscenes_packer.py --src-data-dir /WORKSPACE/nuscenes/ --pack-type lmdb --target-data-dir /WORKSPACE/tmp_data/nuscenes/v1.0-trainval --version v1.0-mini --split-name train
#pack val_Set
python3 tools/datasets/nuscenes_packer.py --src-data-dir /WORKSPACE/nuscenes/ --pack-type lmdb --target-data-dir /WORKSPACE/tmp_data/nuscenes/v1.0-trainval --version v1.0-mini --split-name val

打包结束生成目录如下所示。

|--scripts
    |-- tmp_data
        |-- nuscenes  
            |-- v1.0-trainval 
                |-- train_lmdb
                |   |--data.mdb
                |   |--lock.mdb    
                `-- train_lmdb
                    |--data.mdb
                    `--lock.mdb
  • --src-data-dir 为解压后的 nuscenes 数据集目录；
  • --target-data-dir 为打包后数据集的存储目录；
  • --version 选项为["v1.0-trainval", "v1.0-test", "v1.0-mini"]，如果进行全量训练和验证设置为v1.0-trainval，如果仅想了解模型的训练和验证过程，则可以使用 v1.0-mini 数据集；v1.0-test数据集仅为测试场景，未提供注释。
  • 全量的 nuscenes 数据集较大，打包时间巨长，如果仅仅作为学习使用 mini 版就好。

2.3.2 meta文件夹构建

  • 在tmp_data/nuscenes 下创建meta文件夹，如果使用--version = "v1.0-mini",将解压后的v1.0-mini文件夹拷贝到tmp_data/nuscenes/meta 文件夹内，如果使用--version = "v1.0-trainval",将解压后的v1.0-trainval文件夹拷贝到tmp_data/nuscenes/meta文件夹内；
  • 将解压后的 maps 文件夹拷贝到tmp_data/nuscenes/meta 文件夹内；
  • 将解压后的 lidarseg 文件夹拷贝到tmp_data/nuscenes/meta 文件夹内。

如果使用--version = "v1.0-mini"，此时 tmp_data 的目录结构为：

|-- tmp_data 
|   |-- nuscenes 
|   |   |-- meta
|   |   |   |-- maps        
|   |   |   |   |-- 36092f0b03a857c6a3403e25b4b7aab3.png
|   |   |   |   |-- ...
|   |   |   |   |-- 93406b464a165eaba6d9de76ca09f5da.png
|   |   |   |   |-- prediction
|   |   |   |   |-- basemap
|   |   |   |   |-- expansion
|   |   |   |-- lidarseg     
|   |   |   |   |-- v1.0-mini
|   |   |   |   |-- v1.0-test
|   |   |   |   |-- v1.0-trainval
|   |   |   |-- v1.0-mini  
|   |   |       |-- attribute.json
|   |   |           ...
|   |   |       |-- visibility.json
|   |   `-- v1.0-trainval 
|   |   |   |-- train_lmdb  ls
cd 
|   |   |   `-- val_lmdb   ls

3 权重文件准备

如果不想重复 BEVFormer 模型的训练、校准、量化、定点过程，可从scripts/configs/bev/README.md内下载 BEVFormer 的权重文件，用于浮点模型精度验证、 Calibration 模型精度验证、量化模型精度验证、定点模型精度验证、仿真上板精度验证，或可视化定点模型对于单帧的检测效果，权重文件的下载命令参考：

wget -c ftp://openexplorer@vrftp.horizon.ai/horizon_torch_samples/3.0.15/py310/modelzoo/qat_origin_modelzoo/bevformer_tiny_resnet50_detection_nuscenes/* --ftp-password='c5R,2!pG'

将权重文件拷贝到scripts/tmp_models/文件夹内，此时 tmp_models 的目录结构为：

|-- tmp_data 
|   |-- float-checkpoint-best.pth.tar
|   |-- calibration-checkpoint-best.pth.tar
|   |-- qat-checkpoint-best.pth.tar
|   |-- qat.bc
|   |-- quantized.bc

如果想完整复现 BEVFormer 模型的训练、校准、量化、定点过程，可在数据集和 Config 文件配置完成后，按照第4、5、6部分的指导进行。

4 Config 文件配置

config 内容较多，对于用户来说，需要关注的主要有以下参数：

  • device_ids：配置为本机支持的GPU，根据开发环境进行配置；
ckpt_dir：权重路径配置；
data_rootdir：打包数据集路径配置；
meta_rootdir：meta文件所在的路径；
float_trainer/predictor、calibration_trainer/predictor、qat_trainer/predictor、int_infer_trainer/int_infer_predictor的checkpoint_path：权重路径配置；
float_trainer/predictor、calibration_trainer/predictor、qat_trainer/predictor、int_infer_predictor/int_infer_trainer的version：数据集的版本，选项为["v1.0-trainval", "v1.0-test", "v1.0-mini"]。

上述 checkpoint_path 和 version 需要根据数据集的版本和使用需求修改。

5 浮点模型训练和精度验证

5.1 浮点模型训练

config 文件中的参数配置完成后，使用以下命令训练浮点模型（如果训练浮点模型，需要使用完整数据集而非 mini）：

python3 tools/train.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --stage float
float 训练后模型 ckpt 的保存路径为 config 配置的 ckpt_callback 中 save_dir 的值，默认为 ckpt_dir。

5.2 浮点模型精度验证

浮点模型训练完成以后，可以使用以下命令验证已经训练好的浮点模型精度:

python3 tools/predict.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --stage float

验证完成后，会在终端打印浮点模型在验证集上检测精度，如下所示：

Per-class results:
Object Class    AP      ATE     ASE     AOE     AVE     AAE
car     0.517   0.665   0.169   0.230   0.144   0.091
truck   0.366   0.542   0.215   0.260   0.075   0.000
bus     0.325   0.795   0.176   0.229   1.488   0.017
trailer 0.000   1.000   1.000   1.000   1.000   1.000
construction_vehicle    0.000   1.000   1.000   1.000   1.000   1.000
pedestrian      0.432   0.818   0.278   0.889   0.615   0.286
motorcycle      0.360   0.887   0.313   1.799   0.078   0.002
bicycle 0.071   0.815   0.248   0.523   0.922   0.024
traffic_cone    0.400   0.631   0.389   nan     nan     nan
barrier 0.000   1.000   1.000   1.000   nan     nan
2024-07-18 08:09:25,945 INFO [nuscenes_metric.py:378] Node[0] NDS: 0.3204, mAP:0.2472
...
2023-06-06 18:24:10,513 INFO [mean_iou.py:170] Node[0] ~~~~ MeanIOU Summary metrics ~~~~
car_AP: [0.5]:0.1182  [1.0]:0.3794  [2.0]:0.6097  [4.0]:0.7232
...
2023-12-19 17:47:03,046 INFO [metric_updater.py:360] Node[0] Epoch[0] Validation bev_cft_efficientnetb3_nuscenes: NDS[0.3280] 
2023-12-19 17:47:03,058 INFO [logger.py:176] Node[0] ==================================================END PREDICT==================================================
2023-12-19 17:47:03,058 INFO [logger.py:176] Node[0] =============================
=====================END FLOAT PREDICT=============================================

Loaded ground truth annotations for 81 samples.
Filtering predictions
=> Original number of boxes: 24300
=> After distance based filtering: 20631
=> After LIDAR and RADAR points based filtering: 20631
=> After bike rack filtering: 20584
Filtering ground truth annotations
=> Original number of boxes: 4441
=> After distance based filtering: 3785
=> After LIDAR and RADAR points based filtering: 3393
=> After bike rack filtering: 3393
Accumulating metric data...
Calculating metrics...
Saving metrics to: ./WORKSPACE/resultsbevformer_tiny_resnet50_detection_nuscenes
mAP: 0.2472
mATE: 0.8153
mASE: 0.4789
mAOE: 0.7699
mAVE: 0.6651
mAAE: 0.3024
NDS: 0.3204
Eval time: 5.5s

6 模型量化和编译

完成浮点训练后，还需要进行量化训练和编译，才能将定点模型部署到板端。地平线对该模型的量化采用 horizon_plugin 框架，经过 Calibration+QAT 量化训练后，使用 compile 的工具将量化模型编译成可以上板运行的 hbm 文件。

6.1 Calibration

模型完成浮点训练后，便可进行 Calibration。calibration 在 forward 过程中通过统计各处的数据分布情况，从而计算出合理的量化参数。 通过运行下面的脚本就可以开启模型的 Calibration 过程：

python3 tools/train.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --stage calibration

6.2 Calibration 模型精度验证

Calibration 完成以后，可以使用以下命令验证经过 calib 后模型的精度:

python3 tools/predict.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --stage calibration

验证完成后，会在终端输出 calib 模型在验证集上检测精度。

6.3 量化模型训练

Calibration 完成后，就可以加载 calib 权重开启模型的量化训练。 量化训练其实是在浮点训练基础上的 finetue，具体配置信息在 config 的 qat_trainer 中定义。量化训练的时候，初始学习率设置为浮点训练的十分之一，训练的 epoch 次数也大大减少。和浮点训练的方式一样，将checkpoint_path 指定为训好的 calibration 权重路径。

通过运行下面的脚本就可以开启模型的 qat 训练：

python3 tools/train.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --stage qat

6.4 量化模型精度验证

Calibration 完成以后，可以使用以下命令验证经过 calib 后模型的精度:

#qat模型精度验证
python3 tools/predict.py --stage qat --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py

验证完成后，会在终端输出 calib 模型在验证集上检测精度，格式见2.3。

6.5 导出定点模型

完成量化训练后，便可以开始导出定点模型。可以通过下面命令来导出：

python3 tools/export_hbir.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py

6.6 定点模型精度验证

指定 calibration-checkpoint 后，通过运行以下命令进行量化模型的精度验证：

python3 tools/predict.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --stage int_infer
qat 模型的精度验证对象为插入伪量化节点后的模型（float32）；quantize 模型的精度验证对象为定点模型（int8），验证的精度是最终的int8模型的真正精度，这两个精度应该是十分接近的。

6.7 量化模型编译

在量化训练完成之后，可以使用compile_perf.py脚本将量化模型编译成可以板端运行的hbm模型，同时该工具也能预估在BPU上的运行性能，compile_perf 脚本使用方式如下：

python3 tools/compile_perf_hbir.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --out-dir ./ --opt 3
opt 为优化等级，取值范围为0~3，数字越大优化等级越高，编译时间更长，但部署性能更好。
compile_perf 脚本将生成.html文件和.hbm文件（compile文件目录下），.html 文件为 BPU 上的运行性能，.hbm 文件为上板实测文件。

运行后，ckpt_dir 的 compile 目录下会产出以下文件：

|-- compile
|   |-- .html #模型在bpu上的静态性能数据
|   |-- .json 
|   |-- model.hbm  #板端部署的模型
|   |-- model.hbir #编译过程的中间文件
    `-- model.pt   #模型的pt文件

7 模型推理效果可视化

如果你希望可以看到训练出来的模型对于单帧的检测效果，我们的 tools 文件夹下面同样提供了预测及可视化的脚本，你只需要运行以下脚本即可，可视化结果将会在 save-path 路径下输出。

python3 tools/infer_hbir.py --config configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py --save-path ./

但在此之前你需要在/script中组织你的tmp_orig_data文件夹，文件夹目录为：

scripts/bev_infer_sample/
└── multi_frames
    ├── homo
    │   ├── cam_intrinsic.npy
    │   ├── ego2global.npy
    │   ├── ego2img.npy
    │   ├── rotation.npy
    │   └── translation.npy
    └── imgs
        ├── n008-2018-08-01-15-16-36-0400__CAM_BACK_LEFT__1533151603547405.jpg
        ├── n008-2018-08-01-15-16-36-0400__CAM_BACK_RIGHT__1533151603528113.jpg
        ├── n008-2018-08-01-15-16-36-0400__CAM_BACK__1533151603537558.jpg
        ├── n008-2018-08-01-15-16-36-0400__CAM_FRONT_LEFT__1533151603504799.jpg
        ├── n008-2018-08-01-15-16-36-0400__CAM_FRONT_RIGHT__1533151603520482.jpg
        └── n008-2018-08-01-15-16-36-0400__CAM_FRONT__1533151603512404.jpg

imgs 为同一时刻下6个相机输出的图片；

其中 homo 文件夹内的 ego2global.npy、ego2img.npy 分别是上述图像对应的自车坐标系到世界坐标系、自车坐标系到像素坐标系的 homo 矩阵，尺寸分别为(4,4)和(6,4,4)。

上述信息可通过一下脚本生成：

# tools/gen_infer_data.py
# Usage: python3 tools/gen_infer_data.py
import os
import shutil
from nuscenes.nuscenes import NuScenes 
import numpy as np
from pyquaternion import Quaternion
from PIL import Image

# 注意 >>>>> ：执行前先配置mini_data的位置
mini_data = "/data_set0/v1.0-mini"

def get_folder_from_filename(filename):
    if 'FRONT_LEFT' in filename:
        return 'CAM_FRONT_LEFT'
    elif 'FRONT_RIGHT' in filename:
        return 'CAM_FRONT_RIGHT'
    elif 'FRONT' in filename:
        return 'CAM_FRONT'
    elif 'BACK_LEFT' in filename:
        return 'CAM_BACK_LEFT'
    elif 'BACK_RIGHT' in filename:
        return 'CAM_BACK_RIGHT'
    elif 'BACK' in filename:
        return 'CAM_BACK'
    else:
        raise ValueError(f"Unknown camera type in filename: {filename}")

def get_homography_by_cam(sensor2ego_translation, sensor2ego_rotation, camera_intrinsic):
    #将旋转矩阵转为四元数
    rotation = Quaternion(sensor2ego_rotation).rotation_matrix
    ego2sensor_r = np.linalg.inv(rotation)
    ego2sensor_t = sensor2ego_translation @ ego2sensor_r.T
    ego2sensor = np.eye(4)
    ego2sensor[:3, :3] = ego2sensor_r.T
    ego2sensor[3, :3] = -np.array(ego2sensor_t)
    camera_intrinsic = np.array(camera_intrinsic)
    viewpad = np.eye(4)
    viewpad[
            : camera_intrinsic.shape[0], : camera_intrinsic.shape[1]
        ] = camera_intrinsic
    ego2img = viewpad @ ego2sensor.T
    return ego2img

def save_image(nusc, image_filename, output_folder):
    # 获取图像的绝对路径
    image_path = os.path.join(nusc.dataroot+'/samples',image_filename)
    # 打开并保存图像
    image = Image.open(image_path)
    image.save(os.path.join(output_folder, os.path.basename(image_filename)))

def find_ego2global_from_image(nusc, image_filename):
    # 遍历所有sample_data，找到对应的条目
    for sample_data in nusc.sample_data:
        if image_filename in sample_data["filename"]:
            # 获取对应的ego_pose_token
            ego_pose_token = sample_data['ego_pose_token']
            # 获取ego_pose条目
            ego_pose = nusc.get('ego_pose', ego_pose_token)
            # 提取translation和rotation
            translation = np.array(ego_pose['translation'])
            rotation = np.array(ego_pose['rotation'])
            # 生成ego2global矩阵
            ego2global = get_ego2global_matrix(translation, rotation)
            return ego2global
    return None

def get_ego2global_matrix(translation, rotation):
    """
    从translation和rotation生成ego2global矩阵。
    """
    ego2global = np.eye(4)
    # 设置旋转矩阵
    ego2global[:3, :3] = Quaternion(rotation).rotation_matrix
    # 设置平移矩阵
    ego2global[:3, 3] = translation
    return ego2global

if __name__ == "__main__":
    # 环境初始化
    output_folder = "./bev_infer_sample/multi_frames"
    if os.path.isdir(output_folder):
        shutil.rmtree(output_folder)
    image_output = f"{output_folder}/imgs"
    os.makedirs(image_output, exist_ok=True)
    homo_output = f"{output_folder}/homo"
    os.makedirs(homo_output, exist_ok=True)

    #初始化，这里以v1.0-mini数据集为例
    nusc = NuScenes(version='v1.0-mini', dataroot=mini_data, verbose=True)
    #6张图像的文件名
    #要注意这里的输入顺序必须遵循：
    #FRONT_LEFT,FRONT,FRONT_RIGHT,BACK_LEFT,BACK,BACK_RIGHT
    image_list=[
    'n008-2018-08-01-15-16-36-0400__CAM_FRONT_LEFT__1533151603504799.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_FRONT__1533151603512404.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_FRONT_RIGHT__1533151603520482.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_BACK_LEFT__1533151603547405.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_BACK__1533151603537558.jpg',
    'n008-2018-08-01-15-16-36-0400__CAM_BACK_RIGHT__1533151603528113.jpg'
    ]
    # 获取数据集中所有的sample
    # 包含'token','calibrated_sensor_token','filename','channel'等信息
    sample_data=nusc.sample_data 
    ego_poses = nusc.ego_pose
    # 获取传感器定义：
    # 包含'token','sensor_toker','translation','rotation','camera_intrinsic'等信息
    cali_sensor=nusc.calibrated_sensor
    translation=[]
    rotation=[]
    cam_intrinsic=[]
    ego2imgs=[]
    for i,img in enumerate(image_list):
        print(img) 
        for sample in sample_data:
            if img in sample["filename"]:
                folder = get_folder_from_filename(img)
                save_image(nusc, os.path.join(folder, img), image_output)
                #1. 选择输入图片的name来获取捕获该图片的"calibrated_sensor_token"
                calibrated_sensor_token=(sample["calibrated_sensor_token"])
                print("calibrated_sensor_token:",calibrated_sensor_token)
                #2.根据"calibrated_sensor_token"获取传感器的"translation"、
                # "rotation"、和"camera_intrinsic"等参数
                for sensor in cali_sensor:
                    if sensor["token"]==calibrated_sensor_token: 
                        #获取translation矩阵
                        sensor2ego_translation=np.array(sensor["translation"])
                        # print("sensor2ego_translation:",sensor2ego_translation)
                        translation.append(sensor2ego_translation)
                        #获取rotation矩阵
                        sensor2ego_rotation=np.array(sensor["rotation"])
                        # print("sensor2ego_rotation:",sensor2ego_rotation)
                        rotation.append(sensor2ego_rotation)
                        #获取相机内参矩阵
                        camera_intrinsic=np.array(sensor["camera_intrinsic"])
                        # print("camera_intrinsic:",camera_intrinsic)
                        cam_intrinsic.append(camera_intrinsic)
                        #计算homography矩阵
                        ego2img=get_homography_by_cam(
                        sensor2ego_translation,
                        sensor2ego_rotation, 
                        camera_intrinsic
                        )
                        ego2imgs.append(ego2img)
    
    #导出translation矩阵，旋转矩阵、相机内参矩阵、homo矩阵
    translation=np.array(translation)
    np.save(f"{homo_output}/translation",translation)
    rotation=np.array(rotation)
    np.save(f"{homo_output}/rotation",rotation)
    cam_intrinsic=np.array(cam_intrinsic)
    np.save(f"{homo_output}/cam_intrinsic",cam_intrinsic)
    ego2imgs=np.array(ego2imgs)
    print('ego2imgs',ego2imgs.shape)
    np.save(f"{homo_output}/ego2img",ego2imgs)
    ego2global = find_ego2global_from_image(nusc, image_list[0])
    print('ego2global',ego2global.shape)
    np.save(f"{homo_output}/ego2global",ego2global)

可视化示例如下：

地平线开发者
关注
专栏目录
手把手教你使用Python实现机器学习算法.pdf
06-16
本文“手把手教你使用Python实现机器学习算法”将引导初学者逐步掌握如何利用Python进行机器学习实践。 首先，我们关注的库是`scikit-learn`（简称sklearn），这是一个强大的机器学习库，提供了各种预处理、模型...
从零开始你的部署！BEV检测+BEV车道线+Occupancy三项主流任务（基于TensorRT）
CV_Autobot的博客
04-25 775
随着特斯拉在AI Day上提出BEV概念，国内外以BEV 为技术栈的感知框架越来越受到大家的认可，这两年几乎离不开BEV这个关键词。站在上帝的视角，BEV非常适合自动驾驶任务，从最初的BEVDet检测方案，到后面BEVFormer、BEVFusion、MapTR、Occupancy等各个任务模型，几乎都以此为基线。目前工业界的自动驾驶技术路线大多围绕三个主要任务展开：3D目标检测、车道线检测、非常...
天工开物｜征程 6 启航新章：量化流程 PTQ 篇
地平线开发者
08-27 752
需要用户了解的是后量化方式是基于几十或上百张校准数据实现的模型从浮点到定点转换过程，无论是数据的规模还是模型参数的表达宽度都与原始模型训练过程有很大的差距，精度损失在一定程度上是不可避免地。其中训练后量化 PTQ 是使用一批校准数据对训练好的模型进行校准，将训练过的FP32模型直接转换为定点计算的模型，过程中无需对原始模型进行任何训练。因为测试过程就是模型推理过程的真实在线，因此是对模型推理过程所需的系统依赖的一个全面评估，该过程有效弥补了静态评估仅针对BPU部分测评的不足。
【代码分享】手把手教你：基于RFM的用户画像可视化系统
03-07
在本项目中，我们将深入探讨如何使用Python技术栈构建一个基于RFM（Recency, Frequency, Monetary）模型的用户画像可视化系统。RFM模型是一种在市场营销中广泛使用的工具，用于评估客户价值和行为频率，帮助我们更好...
入门机器学习：手把手教你实现简单的算法
01-03
推荐系统 - 比如在电商平台上，根据用户的历史购买行为和喜好，使用机器学习算法生成个性化推荐，提高用户粘性、促进销售。 自然语言处理 - 使用机器学习算法实现文本分类、情感分析、信息抽取、问答系统等任务，...
手把手教你用Java编写AdaBoost算法.zip
04-30
AdaBoost算法Java实现提供了高效的分类解决方案。该资源包含完整的Java源代码、教程文档、示例数据和测试脚本，旨在帮助用户快速理解和应用AdaBoost算法。适用于对机器学习感兴趣的开发者、数据科学家以及需要提升...
【C++算法】9.双指针_四数之和
最新发布
hlyd520的博客
10-04 267
后面的步骤类似，就不多赘述了。解法一：排序+暴力枚举+利用。双指针遇到合适的数继续往后走。解法二：排序+双指针。不满足循环条件，跳出。
＜使用生成式AI对四种冒泡排序实现形式分析解释的探讨整理＞
m0_57859086的博客
10-01 1111
/冒泡排序实现1——不常用（这个版本两层for循环分别是i++、j++）// 声明三个整型变量i、j和temp用于循环控制和交换元素for (i = 0;i < n - 1;i++) { // 外层循环，从数组的第一个元素开始遍历到倒数第二个元素j < n;j++) { // 内层循环，从当前外层循环位置的下一个元素开始遍历到最后一个元素if (A[i] > A[j]) { // 如果当前元素大于下一个元素// 将当前元素存储到临时变量temp中// 将下一个元素赋值给当前元素。
排序算法之归并排序
qq_64039411的博客
10-01 478
需要注意的是，在实际应用中，归并排序的空间复杂度较高，需要额外的空间来存储临时数组。如果对空间复杂度有要求，可以考虑使用其他排序算法。归并排序是一种分治算法，它将一个数组分成两个子数组，然后递归地对子数组进行排序，最后将两个有序的子数组合并成一个有序的数组。归并排序的时间复杂度是O(nlogn)，其中n是数组的长度。它是一种稳定的排序算法，适用于各种数据类型的排序。合并排序的关键在于合并操作。
DAY17||654.最大二叉树 |617.合并二叉树 |700.二叉搜索树中的搜索 |
2301_79865280的博客
09-29 1298
给定一个不含重复元素的整数数组。通过给定的数组构建最大二叉树，并且输出这个树的根节点。示例 ：构造二叉树一定要，因为要先找到中，才能分割左右子树。本题图解思路：本题做过上一题构建数组确实变得容易很多。代码优化方向有，不用每次找左右子树的时候构建新的数组的话效率就会高很多。（即直接用下标索引直接在原数组上操作）关于加不加if的问题，如果允许空节点进入递归，就不加。
算法：按既定顺序创建目标数组
AWSDN的博客
09-29 234
本文主要介绍按既定顺序创建目标数组问题
【韩顺平Java笔记】第6章：数组、排序和查找
随手写写
10-02 710
排序是将多个数据，依指定的顺序进行排列的过程。
数据结构（链表的操作算法）
m0_61903191的博客
09-30 475
编写一个程序exp2_2.cpp,采用单链表表示集合(假设同一个集合中不存在重复素)，将其按递增方式排序，构成有序单链表，并求这样的两个集合的并、交和差。(2)依次采用尾插法插入a、b、c、d、e元素。(8)在第4个元素位置上插人1元素。(10)删除单链表h的第3个元素。(6)输出单链表h的第3个元素。(5)判断单链表h是否为空。(4)输出单链表h长度。(7)输出元素a的位置。(1)初始化单链表h。(11)输出单链表h。(12)释放单链表h。(3)输出单链表h。(9)输出单链表h。
【算法】---归并排序（递归非递归实现）
何春秋的博客
10-03 976
归并排序 in Java
代码随想录打卡Day46
weixin_52151595的博客
09-28 463
今天是动态规划的最后一天，终于要结束折磨了！！！今天的两道题，第一道看视频做的，第二道自己AC的，开心！！！！
代码随想录算法训练营day46
qq_56445436的博客
10-01 245
【代码】代码随想录算法训练营day46。
35.搜索插入位置
m0_59860403的博客
10-01 199
给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。请必须使用时间复杂度为O(log n)的算法。214。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值