AI人工智能的海洋

原创 交叉熵损失CrossEntropyLoss解释与编码应用

交叉熵损失函数用于衡量两个概率分布之间的差异。在分类任务中，一个分布是真实的标签（Ground Truth），另一个是模型预测的概率分布。‌。

原创 PyTorch-混合精度训练（amp）

适用场景: AMP最适用于现代NVIDIA GPU（Volta架构及以后，如V100, T4, A100, H100等），因为这些GPU配备了Tensor Cores。对性能的影响: 对于绝大多数基于Transformer和卷积的现代模型，AMP对最终的模型精度影响极小，可以认为是“性能无损”的。它带来的训练加速和显存节省是巨大的工程收益，可以显著加快研究和迭代速度。代码实现: 必须同时使用autocast和GradScaler。

原创 yolov8-pose算法

三个尺度的特征图在head层除了生成3个预测Box的特征图（1,64,80,80）、（1,64,40,40）和（1,64,20,20）；以及3个预测CLs的特征图 （1,nc,80,80）、（1,nc,40,40）和（1,nc,20,20）；

原创 打印查看onnx模型输入输出

打印查看onnx模型输入输出。

原创 MMDetection3D/3D目标检测中的边界框和坐标系介绍（含相关函数以及坐标变换的介绍）

激光雷达坐标系通常定义如下左图所示，其中x指向前方，y指向左方，z指向上方。相机坐标系通常定义如上右图所示，其中x指向右方，y指向下方，z指向前方。一般来说，对于自动驾驶目标检测任务而言，一个3D边界框可以由7个参数决定：位置(x, y, z) 、尺寸(x_size, y_size, z_size) 以及朝向角/偏航角/旋转角θ。一般将与物体朝向平行的棱的长度记为边界框长度l，竖直方向棱的长度记为边界框高度h，余下一组棱的长度记为边界框宽度w，如下左图所示。

原创 带你玩转 3D 检测和分割 （二）：核心组件分析之坐标系和 Box

在 3D 目标检测中，框 Box 通常表示为：(x, y, z, x_size, y_size, z_size, yaw)。其中 (x, y, z) 表示框的位置 ，(x_size, y_size, z_size) 表示框的尺寸，yaw 表示框的朝向角。我们重温一下高中物理——右手系。右手系的其中一个定义是，把大拇指指向 x 轴的正方向，食指指向 y 轴的正方向时，中指微屈所指的方向就是 z 轴的正方向。见下图：图 1：左手系和右手系。

原创 python编译第三方库

如果你的项目是一个Python包，并且已经包含了setup.py或pyproject.toml（后者需要setuptools和build包），你可以使用以下命令之一来构建wheel文件：使用setup.py（传统方式）这将在dist/目录下生成wheel文件。

原创 docker run 后报错/bin/bash: /bin/bash: cannot execute binary file总结

本文总结了Docker容器无法执行/bin/bash的4种常见原因及解决方法：1)镜像与宿主机架构不匹配，可用--platform参数指定；2)镜像缺少bash，改用/bin/sh或安装bash；3)ENTRYPOINT冲突，使用--entrypoint参数覆盖；4)镜像文件损坏，重新拉取。作者验证了第三种方法（添加--entrypoint参数）成功解决问题。这些解决方案适用于不同场景下的Docker容器启动故障处理。

原创 sparse4d中百度数据标签处理v2

原创 python小知识

np.bincount是统计数组中数字出现数量的函数，数值n在输入数组x中每出现1次，则输出o的o[n]+=1。函数。

原创 sparse4d算法，ros1 bag解压生成图片和pkl数据。用来测试模型。

【代码】sparse4d算法，ros1 bag解压生成图片和pkl数据。用来测试模型。

原创 Sparse4D系列算法：迈向长时序稀疏化3D目标检测的新实践

本文探讨了自动驾驶视觉感知系统中多摄像头融合的两种范式：后融合与BEV特征融合。BEV方法虽为主流，但存在感知范围、精度与效率难以平衡的问题，且无法直接处理2D感知任务。针对BEV的局限性，作者提出纯稀疏融合感知算法Sparse4D系列，通过改进Query构建、特征采样和时序融合等机制，在nuScenes检测任务中达到SOTA效果，超越了BEVFormer等稠密方法。文章详细介绍了Sparse4D的技术创新，包括基于Anchor的instance定义和多尺度特征聚合策略，并开源了相关代码。该研究为高效长时序

原创 sparse4d中百度数据标签处理

【代码】sparse4d中百度数据标签处理。

转载 【教程】PyTorch多机多卡分布式训练的参数说明 | 附通用启动脚本

torchrun 是 PyTorch 官方推荐的分布式训练启动器，它的作用是：启动多进程分布式训练（支持多 GPU，多节点）自动设置每个进程的环境变量协调节点之间建立通信。

原创 autoware-传感器驱动和感知算法（sensing-perception）-笔记

备注：docker中的/workspace目录映射到了域控设备上的/home/leador/autoware_deploy/autoware_project_humble目录。7、在docker环境下的命令行中执行source /workspace/install/setup.bash后再执行后续测试命令。3、将新增ros包通过filezilla拷贝到域控的/home/leador/目录下的自定义子目录下。6、在docker环境下的命令行中执行。在ssh登录后的命令行中执行。2.开启最大频率（重启失效）

原创 sensor_msgs/PointCloud2雷达数据信息

Raw Message Definition # 该消息包含一个n维点的集合，它可能包含额外的信息，如法线、强度等。点数据以二进制blob的形式存储，其布局由“fields”数组的内容描述。# 点云数据可以组织为2d(类似图像)或1d(无序)。以二维图像组织的点云可以由立体或飞行时间等相机深度传感器产生。# 传感器数据采集时间，坐标坐标系ID (3d点)。uint32 seq。

原创 ros中保存topic的图像与点云数据

参数image:=/camera0/color/image_raw中的/camera0/color/image_raw改为你需要保存的图片topic；参数_filename_format:="cam%04i.png"中的"cam%04i.png"改为需要的后缀，修改cam和png；参数/input:=/global_map 中的/global_map 改为你需要保存的topic。参数分别为：rosbag的位置、激光雷达topic、保存到哪个文件夹。参数_sec_per_frame:=1设置秒每帧值。

原创 autoware中ROS2学习笔记

总结一下如何看autoware的文档。autoware是基于ros的，如果想要了解ros和工具，可以参考ros的文档；如果想了解autoware如何安装和使用，可以参考Autoware Documentation；如果想了解autoware自动驾驶各个模块的具体实现，可以参考Autoware Universe Documentation。在不同的进程中运行多个节点。这样可以使不同的进程独立开。一个崩溃其他可以正常运行。也更方便调试各个节点。在同一个进程中运行多个节点。这样可以使得通信更加高效。

原创 LSS 和 BEVDepth算法解读

当前BEV的研究大都基于深度学习的方法，从组织BEV特征信息的方式来看，主流方法分属两类：自底向上方法和自顶向下方法。自底向上方法比较早的代表工作是LSS，后来BEVDet、BEVDepth等也是基于LSS的框架来进行优化。自底向上方法核心是：Lift——对各相机的图像显性地估计像平面下采样后特征点的深度分布，得到包含图像特征的视锥（点云）；Splat——结合相机内外参把所有相机的视锥（点云）分配到BEV网格中，对每个栅格中的多个视锥点进行sum-pooling计算，形成BEV特征图；

原创 BEVFormer论文详细解读

1.相当于我们在上帝视角下重构了一个特征空间，空间的大小我们自己定义2.特征空间相当于一个网格，网格的间隔也可以自己定义，对应精度也会有差异3.在特征空间中，我们可以以全局的视角来进行预测，特征都给你了，咋用你来定4.难点：既想做的细致，还想节约计算成本，怎么办？BevFormer它来了

原创 DETR原理分析

文章的主要有两个关键的部分。第一个是用transformer的encoder-decoder架构一次性生成 N个box prediction。其中N是一个事先设定的、比远远大于image中object个数的一个整数。第二个是设计了bipartite matching loss，基于预测的boxex和ground truth boxes的二分图匹配计算loss的大小，从而使得预测的box的位置和类别更接近于ground truth

原创 自动驾驶视觉相机方案推荐

我们根据自动驾驶的不同级别和功能要求，给出了以上给出了几个参考配置方案，并且从机器视觉算法的角度，给出了摄像头所能识别的物体距离，供方案选择时作为参考。

原创 LSS (Lift, Splat, Shoot)代码解析

LSS是一篇发表在ECCV 2020上有关自动驾驶感知方向的论文，具体子任务为object segmentation and map segmentation。论文和官方repo如下：论文：https://link.zhihu.com/?官方repo：https://link.zhihu.com/?目前在自动驾驶领域，比较火的一类研究方向是基于采集到的环视图像信息，去构建BEV视角下的特征完成自动驾驶感知的相关任务。所以如何准确的完成从相机视角向BEV视角下的转变就变得由为重要。

原创 智能汽车：自动驾驶浅谈（入门）

自动驾驶算法反应了工程师们根据人的思维模式，对自动驾驶所需处理过程的思考。通常包含感知、预测、规划模块，同时辅助一些地图、定位等模块，实现自动驾驶功能的落地。

原创 BEVDet代码复现实践

默认ubuntu-20.04，python-3.8, torch-1.10.0, cuda-11.3，cudnn-8.6不要问其他版本能不能通，小白和不想折腾环境的童鞋直接抄作业。

原创 LiDAR和Camera融合的BEV感知算法-BEVFusion

本次给大家讲解一篇非常经典的融合工作叫 BEVFusion，我们依旧从算法动机&开创性思路、主体结构、损失函数以及性能对比四个方面展开BEVFusion 有两篇文章，本次主要讲解的是阿里和北大的：BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework。

原创 numpy小知识-v2

sorted: 是否对处理后的不包含重复元素的Tensor进行升序排列（sorted=True表示进行升序排列，sorted=False并非表示降序排列，这点容易混淆，可以看下面例1）统计一维数组中重复元素的数量是个常见的问题，那么拓展到二维或者更高维度，这个问题依然是常见的。我使用百度仔细检索发现了一篇很有用的文章，发现上图中说的是错误的，文章里边提到了怎么统计二维空间中重复点的数量。我们在数据处理的时候，有时需要统计数组中某个元素的个数，如果写个循环就太麻烦了，numpy中有相应的函数进行统计。

原创 docker 容器修改端口和目录映射

修改hostconfig.json如下，添加端口绑定"9003/tcp": [{“HostIp”: “”,“HostPort”: “9003”}]，表示绑定端口9003。一般在运行容器时，我们都会通过参数 -p（使用大写的-P参数则会随机选择宿主机的一个端口进行映射）来指定宿主机和容器端口的映射，例如。：将现有的容器打包成镜像，然后在使用新的镜像运行容器时重新指定要映射的端口。2、查看宿主机端口是否和容器内端口映射成功，在容器外执行。这里是将容器内的80端口映射到宿主机的8088端口。

原创 vscode远程连接失败

即使在远程主机添加了本地的公钥也不行。直接报错:Could not establish connection to…这是因为vs code在连接和ssh终端连接类似，由于之前连过该ip对应的服务器，多次异常退出了服务端，可能导致后续vscode链接服务器时循环输入密码无法连接;最近通过vscode一直使用腾讯云的服务器作为远程开发环境，以前一直很好用。，就连接失败了，本质上是vscode的阻止行为！不要怪罪远程服务器！重置服务器当该ip对应的服务器发生变化时，接着重新vscode链接服务器，就好啦！

原创 NeRF 原始论文 & NeRF Studio 安装使用

NeRF Studio提供了一个调用各种NeRF模型的接口。它包含的模型有Nerfacto, Instant-NGP, NeRF, Mip-NeRF, TensoRF等，同时还有一些第三方模型，例如Instruct-NeRF2NeRF和K-Planes。其中Nerfacto是nerfstudio提出的，通过整合多篇论文对nerf模型的优化，设计了一个比较全面的神经辐射场解决方案。它是nerfstudio的默认模型，也是最推荐使用的模型。

原创 自动驾驶中的坐标系

自动驾驶中的坐标系。

原创 PolarNet: 一种改进的时实激光雷达点云语义分割网格表示方法

github工程代码：https://github.com/edwardzhou130/PolarSeg。

原创 CPGNet点云语义分割简介

我们提出了一种多视图融合的方法，同时融合3D点云特征，BEV视图特征，RV视图特征的方法，来加速点云分割模型，同时降低了由2D投影带来的信息损失，达到了很好的精度-速度均衡。同时我们的方法做到了fully end-to-end，不需要任何后处理。我们的方法可以方便地部署在TensorRT上，来更快地部署在车载平台。目前我们的方法在Orin平台上可以做到13 ms。这是我们系列文章的第一篇，后续还有更多的论文解读。最后欢迎大家积极讨论，将我们的方法应用在自动驾驶系统中。

原创 2DPASS激光雷达点云语义分割简介

本文介绍了一个基于二维先验辅助的激光雷达点云语义分割算法2DPASS，其在模型训练阶段从多模态数据中获取更丰富的语义和结构信息将其提炼到点云分割网络中。该方法具有良好的通用性，且在推理时仅基于点云数据输入即可实现又快又准的三维语义分割。该方法在SemanticKITTI数据集单帧和多帧语义分割，以及Nuscenes数据集都达到了最先进的水平。

原创 如何通过球面投影(Spherical Projection)将点云转换为距离图像(Range Images)

将3维激光点云通过球面投影（Spherical Projection）转换为2维距离图像（Range Images），是自动驾驶应用场景中一种非常常见的点云处理方式。点云转换为距离图像后，通常会被输入给一个2维卷积神经网络去实现目标检测、语义分割等任务。目前采用这种点云处理方式的典型目标检测算法有RangeDet，语义分割算法有SqueezeSeg、RangeNet++、SalsaNext等。

原创 OpenCV显示中文（python）

OpenCV添加文字的方法putText(…)，添加英文是没有问题的，但如果你要添加中文就会出现“？？？”的乱码，需要特殊处理一下。下文提供封装好的（代码）方法，供OpenCV添加中文使用。

原创 python算法部署（通信篇）

在 Windows 上还需要关闭防火墙，成功 ping 通后，在 Ubuntu 环境中首先需要运行ifconfig | grep -B 1 | grep “flags”| cut -d ‘:’ -f1，查看该 IP 对应的网络设备，其中 需要用实际获取到的 IP 地址进行替换。假设我们对应的网络设备是 lo，下面用 代替，使用时需要进行替换。运行下面两条命令来显式使能 UDP 多播和添加路由表。Ubuntu 配置结束，可以正常进行消息的收发。详细教程可以参考官网：（写的很清楚），各种语言。

原创 CVPR 2023 | UniMatch: 重新审视半监督语义分割中的强弱一致性

在这里和大家分享一下我们被CVPR 2023录用的工作"Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation"。在本工作中，我们重新审视了中的“”方法。我们首先发现，最基本的约束强弱一致性的方法FixMatch[1](proposed three years ago in 2020)即可取得与当前SOTA相当的性能。

原创 IGEV深度估计测试代码

0.jpg，代表左图。1.jpg，代表右图。

原创 python-opencv对极几何 StereoRectify

将打印的结果保存到标定文件中即可。