ROS学习番外篇7—将SemanticKITTI数据集的点云投影到图像平面

最新推荐文章于 2024-06-05 12:06:45 发布
最新推荐文章于 2024-06-05 12:06:45 发布
阅读量1.9k 收藏 11
点赞数
分类专栏： ROS操作系统学习 文章标签： ROS 点云图像融合 点云投影 kitti semantickitti
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixinhum/article/details/115670136
版权

做自动驾驶的老哥相信或多或少会知道SemanticKITTI这个点级精细标注的数据集。该数据集基于kitti的odometry数据集进行标注。因此非但有精细的语言分割信息，而且还能结合kitti数据集本身就提供的四个摄像头信息来做更多的事情。比如将点云投影到图像上，然后做融合算法。
在这里插入图片描述
在这篇文章中我们将介绍将点云投影到图像平面的操作。

数据下载

首先，我们需要先下载图像数据，也就是到kitti的官网下载相应的数据：
在这里插入图片描述
如果先前已经下了SemanticKITTI数据集，那么就只需要下图像的数据就行。

坐标投影

在这里插入图片描述
kitti数据集的坐标和转换关系如上图所示，把点云投影到图像上需要先将其坐标转换到参考坐标系中，然后再将其投影到摄像头对应的坐标系。在odometry数据集中，这个过程涉及到两个矩阵，全部在calib文件中给出中给出，下面我们将直接通过代码展示将点云投影到左边彩色相机的操作：


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  _寒潭雁影
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    11
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
Pointcloud-to-Images:一种将三维激光点云数据投影到序列化二维图像中的算法

				
			

			

				

					05-15
				

			

		

		

			
				
PointCloud到图像
一种将三维激光点云数据投影到序列化二维图像中的算法。 作者：古峰
介绍
在点云数据的中心或数据的收集轨迹上选择一个视点。 然后，该算法将3D点云数据投影到与以视点为中心的不同视角相对应的平面上。 然后使用三维激光点云的特征对图像进行染色。 该算法一共给出了六种染色方法，读者可以根据需要选择其中一种或多种。 
 六种染色方法是：RGB颜色，反射值，法向矢量的垂直分量，深度，方位角和空间邻域角（SNA）图像。可以更改生成的图片数量以及生成的图片的尺寸和分辨率。
1张序列化的深度图像
2张序列化的普通图像
3张序列化强度图像
4个序列化的方位角图像
 
 5张序列化的空间邻里角图像
 
 6个序列化的二进制空间邻域角度图像
 
 7张序列化的RGB彩色图像
 依存关系
程序依赖性：PCL1.8.0，OpenCV 3，OpenMP。 无论输入和输出如何，都需要4到5秒钟

			
		

	



                

              
                



	

		

			

				
					
【ROS】利用ROS将KITTI数据集点云数据投影到2D图像

				
			

			

				

					我们终将会成为更好的人
				

				

					06-24
					
					3281
					
				

			

		

		

			
				
利用ROS实现kitti数据集点云透视投影。分为两个ROS节点，一个节点负责不断读取点云原始bin文件，并以 sensor_msgs::PointCloud2 的消息格式发布话题；另一个节点对接收到的点云消息进行处理，把点云投影到相机图像上。...

			
		

	



                


  
              

                


	

		

			

				
					
kitti数据集点云投影到图片，反投影回点云

					
最新发布

				
			

			

				

					qq_41816368的博客
				

				

					06-05
					
					149
					
				

			

		

		

			
				
【代码】kitti数据集点云投影到图片，反投影回点云。

			
		

	





	

		

			

				
					
激光点云投影到图像---实时ros显示

				
			

			

				

					SORI-
				

				

					04-21
					
					2867
					
				

			

		

		

			
				
<link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-b5506197d8.css">
            <div id="content_views" class="htmledit_views">
                <p>彩色点云是对激光雷达点云的每个点赋予其对应的相机图像ＲＧ...

			
		

	



		

			
		



	

		

			

				
					
将点云投影到图像并生成带有颜色的激光雷达点云_python_代码_下载

				
			

			

				

					06-14
				

			

		

		

			
				
此代码用于将 LiDAR 点云投影到图像并生成带颜色的点云

输入
图像（.png 文件）
点云文件（.bin 文件）
Calib 文件 支持两种 calib 文件类型。
所有参数存储在一个文件中。例如 KITTI

R_rect: 形状 3*3
P_rect: 形状 3*4
Tr：形状3*4
参数存储在两个文件中。一个用于相机，另一个用于 LiDAR2Cam。例如 KITTI raw

R_rect: 形状 3*3
P_rect: 形状 3*4
R：形状3*3
T：形状3*1
脚步
将所有图像放入img，将所有点云文件放入lidar（注意：图像的文件名和对应的点云文件的文件名要相同。）。将calib文件放入calib

在main.py中设置参数。

CALIB_TYPE：0：一个文件中的所有参数；1：参数存储在两个文件中

如果 CALIB_TYPE == 0：

CALIB：校准文件的路径
如果 CALIB_TYPE == 1：

CAM2CAM：相机校准文件的路径
LIDAR2CAM：LiDAR2Cam 校准文件的路径
IMG_PATH：图片的路径

LIDAR_PATH：点云

			
		

	





	

		

			

				
					
点云投影至xoy平面生成强度图像

				
			

			

				

					qq_41965957的博客
				

				

					11-23
					
					4595
					
				

			

		

		

			
				
一、算法原理

着急下班下次补

二、代码


// opencv
#include <opencv2/opencv.hpp>   
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
// pcl
#include <pcl/io/pcd_io.h>
#include <pcl/point_types.h>
//lablas
#includ.........

			
		

	





	

		

			

				
					
点云实时投影到图像project.cpp

				
			

			

				

					05-16
				

			

		

		

			
				
ros环境下，点云实时投影到图像参考程序----project.cpp

			
		

	





	

		

			

				
					
KITTI数据集 转换为ROSBAG格式，且补充了点云格式转换部分，比原始的全面一些

				
			

			

				

					08-03
				

			

		

		

			
				
7. **点云格式转换**：点云格式转换部分可能涉及将原始的点云数据（如KITTI的`.bin`格式）转换为更通用的格式，如`.pcd`，便于使用PCL（Point Cloud Library）进行处理。  这个名为"kitti_odometry2bagk-master"的...

			
		

	





	

		

			

				
					
一个semantickitti的rosbag包

				
			

			

				

					03-11
				

			

		

		

			
				
这是一个semantickitti的 rosbag包。可以播放格式为PointXYZL的点云，以及对应的/tf消息。标签是完全准确的，可以用来测试语义建图算法。

			
		

	





	

		

			

				
					
ROS1结合自动驾驶数据集Kitti开发教程.zip

				
			

			

				

					12-28
				

			

		

		

			
				
ROS1结合自动驾驶数据集Kitti开发教程 ROS1结合自动驾驶数据集Kitti开发教程 ROS1结合自动驾驶数据集Kitti开发教程 ROS1结合自动驾驶数据集Kitti开发教程 ROS1结合自动驾驶数据集Kitti开发教程 ROS1结合自动驾驶数据...

			
		

	





	

		

			

				
					
ros-kitti:将同步的图像和 PointClouds 导出到与 kitti 兼容的数据集

				
			

			

				

					06-05
				

			

		

		

			
				
标题"ros-kitti:将同步的图像和 PointClouds 导出到与 kitti 兼容的数据集"指的是一个项目或工具，它的主要功能是将ROS环境中处理的图像和点云数据转换成Kitti数据集格式。这对于那些使用ROS进行机器人研发或自动...

			
		

	





	

		

			

				
					
semantic kitti 坐标转换

				
			

			

				

					01-22
				

			

		

		

			
				
使用雷达.bin文件，pose文件，calibration文件，实现将每帧semantickitti雷达坐标转换至世界坐标系下，并存为txt文件，点云准确且无任何偏差

			
		

	





	

		

			

				
					
kitti mini data object crop 数据

				
			

			

				

					05-25
				

			

		

		

			
				
kitti mini data object crop 数据是mini 版KITTI激光雷达数据集保留图像视野内的点云，已经将图片视野范围外点云加以剔除，含20个训练点云文件和5个测试点云文件。crop点云裁剪过程请参考：https://blog.csdn.net/suiyingy/article/details/124817919。Mini版kitti可以用于快速验证三维点云算法模型，下载速度更快。详细介绍及使用方式请参考：https://blog.csdn.net/suiyingy/article/details/124820161。

			
		

	





	

		

			

				
					
点云生成前视图（投影到2D平面）

				
			

			

				

					NJIER的博客
				

				

					02-22
					
					8625
					
				

			

		

		

			
				
前视图投影

为了将激光雷达传感器的前视图平展成二维图像，必须将三维空间中的点云投影到可以展开的圆柱形表面，一个平面上。根据论文Vehicle Detection from 3D Lidar Using Fully Convolutional Network所述，以下的代码完成了这部分功能。


# h_res = horizontal resolution of the lidar sensor...

			
		

	





	

		

			

				
					
从原理到实现 | 如何通过球面投影将点云转换为Range图像

				
			

			

				

					CV_Autobot的博客
				

				

					10-29
					
					1320
					
				

			

		

		

			
				
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！前言将3维激光点云通过球面投影（Spherical Projection）转换为2维距离图像（Range Images），是自动驾驶应用场景中一种非常常见的点云处理方式。点云转换为距离图像后，通常会被输入给一个2维卷积神经网络去实现...

			
		

	





	

		

			

				
					
pointcloud90度分割＋球面投影（pcl+ros+python）

				
			

			

				

					qq_40297851的博客
				

				

					03-05
					
					3089
					
				

			

		

		

			
				
一.pcl+ros实现９０度分割．前文有说明，略微修改，批量处理．


#include &lt;iostream&gt;
#include &lt;string.h&gt;
#include &lt;string&gt;
#include &lt;pcl/io/pcd_io.h&gt;
#include &lt;pcl/point_types.h&gt;
#include &lt;pcl/fil...

			
		

	





	

		

			

				
					
激光雷达点云投影到俯视鸟瞰图（附 python代码）

				
			

			

				

					三维点云技术探索  
				

				

					12-29
					
					1049
					
				

			

		

		

			
				
1. 投影的时候有一个分辨率的参数，也就是每隔多少米投影一个点。2.坐标不要溢出图像的坐标范围即可。

			
		

	





	

		

			

				
					
KITTI数据集可视化（二）：点云多种视图与标注展示的可视化代码解析

				
			

			

				

					Clichong
				

				

					01-05
					
					3663
					
				

			

		

		

			
				
在对KITTI数据集的点云处理流程中，涉及鸟瞰图，前视图，全景图等多种视角。这篇笔记就是用来记录如何对点云进行多种视图的切换，以及如何实现在多种视图中进行标注框的展现。涵盖标注框的鸟瞰图的显示、在前视图中的显示以及在全景图中的显示。

这里主要是对代码的解析与思路的介绍，对于kitti数据集各种可视化展示可以查看之前写的另外一篇博客：[KITTI数据集可视化（一）：点云多种视图的可视化实现](https://clichong.blog.csdn.net/article/details/127345052)


			
		

	





	

		

			

				
					
SemanticKITTI 数据集（ICCV 2019）

					
热门推荐

				
			

			

				

					77wpa的博客
				

				

					03-08
					
					1万+
					
				

			

		

		

			
				
SemanticKITTI 数据集1. 数据集简介
1. 数据集简介

文章标题

SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences (2019)

文章链接

https://arxiv.org/pdf/1904.01416.pdf

数据集官网

http://www.semantic-kitti.org/dataset.html#overview

数据集开发工具包

http://www.sema

			
		

	





	

		

			

				
					
利用ROS将KITTI数据集点云数据投影到2D图像

				
			

			

				

					05-31
				

			

		

		

			
				
要将KITTI数据集的点云数据投影到2D图像，可以使用ROS中的点云转换工具包`pcl_ros`来实现。具体步骤如下：

1. 安装`pcl_ros`工具包

```bash
sudo apt-get install ros-<distro>-pcl-ros
```

其中`<distro>`是你使用的ROS版本，比如`melodic`。

2. 下载KITTI数据集

从KITTI官网下载点云数据集。

3. 创建ROS包并将数据集导入

在ROS工作空间中创建一个ROS包，将KITTI数据集导入到ROS包中。

4. 编写ROS节点

使用`pcl_ros`中的`PointCloud2`消息类型读取点云数据，并使用`sensor_msgs/Image`消息类型发布投影后的2D图像。

具体代码可以参考以下示例：

```python
import rospy
import sensor_msgs.point_cloud2 as pc2
from sensor_msgs.msg import Image, CameraInfo
from cv_bridge import CvBridge
import numpy as np
import cv2

class PointCloudProjector():
    def __init__(self):
        self.cloud_sub = rospy.Subscriber("/kitti/velo/pointcloud", pc2.PointCloud2, self.cloud_callback)
        self.image_pub = rospy.Publisher("/kitti/velo/image_raw", Image, queue_size=10)
        self.cam_info_pub = rospy.Publisher("/kitti/velo/camera_info", CameraInfo, queue_size=10)
        self.bridge = CvBridge()

    def cloud_callback(self, msg):
        # Convert PointCloud2 message to numpy array
        cloud = pc2.read_points(msg, skip_nans=True)

        # Project point cloud onto 2D image
        # ...

        # Publish image
        image_msg = self.bridge.cv2_to_imgmsg(image, encoding="passthrough")
        self.image_pub.publish(image_msg)

        # Publish camera info
        cam_info_msg = CameraInfo()
        # ...
        self.cam_info_pub.publish(cam_info_msg)

if __name__ == '__main__':
    rospy.init_node('point_cloud_projector', anonymous=True)
    projector = PointCloudProjector()
    rospy.spin()
```

在`cloud_callback`函数中，使用`pc2.read_points`函数将`PointCloud2`消息转换为numpy数组，然后将点云投影到2D图像中，并将结果转换为ROS中的`Image`消息类型，使用`self.image_pub.publish`函数发布2D图像。

同时，还需要发布相机信息，可使用`CameraInfo`消息类型，使用`self.cam_info_pub.publish`函数发布。

注意，这里的投影算法需要根据具体需求进行选择和实现。

5. 运行ROS节点

使用`rosrun`命令运行ROS节点。

```bash
rosrun <your_package_name> point_cloud_projector.py
```

其中，`<your_package_name>`是你创建的ROS包的名称。

6. 查看投影结果

使用`rviz`或其他图像查看工具查看2D图像。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值