点云采集 （图漾相机）

已于 2022-11-30 16:04:36 修改
阅读量744 收藏 11
点赞数 1
分类专栏： pcl 文章标签： opencv 计算机视觉 人工智能
于 2022-11-30 16:02:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/salewang/article/details/128116860
版权

这款相机

根据官网的sdk 写了一个一台相机的采集代码

#define MAP_DEPTH_TO_COLOR      1
#include "../common/common.hpp"
#include "TYImageProc.h"
#include <opencv2/opencv.hpp>
#include <string>
#include "DepthRender.hpp"
#include <limits>
#include <iostream>
#include <pcl/point_cloud.h>
#include <pcl/io/io.h>
#include <pcl/io/pcd_io.h>
#include <pcl/filters/statistical_outlier_removal.h>
#include <pcl/point_types.h>
#include <pcl/visualization/pcl_visualizer.h>
#include <pcl/visualization/cloud_viewer.h>
#include <pcl/filters/filter.h>
#include <pcl/common/impl/io.hpp>
#include <time.h>

TY_INTERFACE_HANDLE hIface;
TY_INTERFACE_INFO infoInterface;
TY_CAMERA_CALIB_INFO calibDepth;
int32_t IDComponents;
TY_DEV_HANDLE handle;
static uint32_t deviceNumber;//检测获取相机数量
TY_ISP_HANDLE hColorIspHandle = NULL;
using namespace std;
using namespace pcl;
std::vector<TY_DEVICE_BASE_INFO> selected;
void eventCallback(TY_EVENT_INFO* event_info, void* userdata)
{
	if (event_info->eventId == TY_EVENT_DEVICE_OFFLINE) {
		LOGD("=== Event Callback: Device Offline!");
		// Note: 
		//     Please set TY_BOOL_KEEP_ALIVE_ONOFF feature to false if you need to debug with breakpoint!
	}
	else if (event_info->eventId == TY_EVENT_LICENSE_ERROR) {
		LOGD("=== Event Callback: License Error!");
	}
}
char* IDDevice;
void openComponents(TY_DEV_HANDLE handle, int32_t componentIDs)
{
	ASSERT_OK(TYGetComponentIDs(handle, &IDComponents)); //获取设备支持的组件信息
	if (IDComponents & TY_COMPONENT_RGB_CAM & componentIDs)
		ASSERT_OK(TYEnableComponents(handle, TY_COMPONENT_RGB_CAM));
	if (IDComponents & TY_COMPONENT_IR_CAM_LEFT & componentIDs) //打开左边红外
		ASSERT_OK(TYEnableComponents(handle, TY_COMPONENT_IR_CAM_LEFT));
	if (IDComponents & TY_COMPONENT_IR_CAM_RIGHT & componentIDs) //打开右边红外
		ASSERT_OK(TYEnableComponents(handle, TY_COMPONENT_IR_CAM_RIGHT));
	if (IDComponents & TY_COMPONENT_DEPTH_CAM & componentIDs) //打开深度摄像头
		ASSERT_OK(TYEnableComponents(handle, TY_COMPONENT_DEPTH_CAM));

}
//彩色图与深度图对齐
static void doRgbRegister(const TY_CAMERA_CALIB_INFO& depth_calib, const TY_CAMERA_CALIB_INFO& color_calib, const cv::Mat& depth, const cv::Mat& color, cv::Mat& out)
{
	// do rgb undistortion
	TY_IMAGE_DATA src;
	src.width = color.cols;
	src.height = color.rows;
	src.size = color.size().area() * 3;
	src.pixelFormat = TY_PIXEL_FORMAT_RGB;
	src.buffer = color.data;

	cv::Mat  undistort_color = cv::Mat(color.size(), CV_8UC3);
	TY_IMAGE_DATA dst;
	dst.width = color.cols;
	dst.height = color.rows;
	dst.size = undistort_color.size().area() * 3;
	dst.buffer = undistort_color.data;
	dst.pixelFormat = TY_PIXEL_FORMAT_RGB;
	ASSERT_OK(TYUndistortImage(&color_calib, &src, NULL, &dst));

	// do register
	out.create(depth.size(), CV_8UC3);
	//将原始 RGB 图像映射到深度坐标 RGB 图像。
	ASSERT_OK(
		TYMapRGBImageToDepthCoordinate(
			&depth_calib,
			depth.cols, depth.rows, depth.ptr<uint16_t>(),
			&color_calib,
			undistort_color.cols, undistort_color.rows, undistort_color.ptr<uint8_t>(),
			out.ptr<uint8_t>()));
}

void  f() {
	try {
		std::string ID, IP;
		int32_t IDComponents = 0;
		
		ASSERT_OK(selectDevice(TY_INTERFACE_ALL, ID, IP, 1, selected));//获取相机信息
	}
	catch (int num){
		
		cout << "null" << endl;
		return;
	}
}
int main() {
	
	std::string ID, IP;
	int32_t IDComponents = 0;
	ASSERT_OK(TYInitLib());  //初始化
	
	f();
	
	

		//例外处理程序段

	
	ASSERT(selected.size() > 0);

	TY_DEVICE_BASE_INFO& selectedDev = selected[0];

	ASSERT_OK(TYOpenInterface(selectedDev.iface.id, &hIface)); //打开指定的接口
	ASSERT_OK(TYOpenDevice(hIface, selectedDev.id, &handle));//按设备 ID 打开设备
	ASSERT_OK(TYGetDeviceInfo(handle, &selectedDev)); //获取打开设备的基本信息。
	{
		LOGD("===   selected device %s:", selectedDev.id);
	}
	openComponents(handle, TY_COMPONENT_RGB_CAM | TY_COMPONENT_IR_CAM_LEFT |
		TY_COMPONENT_IR_CAM_RIGHT | TY_COMPONENT_DEPTH_CAM);
	//设备几个连接
	ASSERT_OK(TYGetDeviceNumber(hIface, &deviceNumber));
	std::cout << deviceNumber;



	//ASSERT_OK(TYGetComponentIDs(hIface, &IDComponents)); //获取设备支持的组件信息

	LOGD("=== Configure feature, set resolution to 640x480.");
	//设置深度图像
	TYSetEnum(hIface, TY_COMPONENT_DEPTH_CAM, TY_ENUM_IMAGE_MODE, TY_IMAGE_MODE_YUYV_1280x960); //TY_IMAGE_MODE_DEPTH16_1280x960
	//设置彩色图像
	TYSetEnum(hIface, TY_COMPONENT_RGB_CAM_LEFT, TY_ENUM_IMAGE_MODE, TY_IMAGE_MODE_YUYV_1280x960);//TY_IMAGE_MODE_YUYV_1280x960
	uint32_t frameSize;
	ASSERT_OK(TYGetFrameBufferSize(handle, &frameSize));
	LOGD("     - Get size of framebuffer, %d", frameSize);
	LOGD("     - Allocate & enqueue buffers");
	//缓存区
	char* frameBuffer[3];
	frameBuffer[0] = new char[frameSize];
	frameBuffer[1] = new char[frameSize];
	frameBuffer[2] = new char[frameSize];
	LOGD("     - Enqueue buffer (%p, %d)", frameBuffer[0], frameSize);
	ASSERT_OK(TYEnqueueBuffer(handle, frameBuffer[0], frameSize));
	LOGD("     - Enqueue buffer (%p, %d)", frameBuffer[1], frameSize);
	ASSERT_OK(TYEnqueueBuffer(handle, frameBuffer[1], frameSize));
	LOGD("     - Enqueue buffer (%p, %d)", frameBuffer[2], frameSize);
	ASSERT_OK(TYEnqueueBuffer(handle, frameBuffer[2], frameSize));
	LOGD("Register event callback");
	ASSERT_OK(TYRegisterEventCallback(handle, eventCallback, NULL));




	TY_FRAME_DATA frame;
	//相机设置
	TYEnableComponents(handle, TY_COMPONENT_RGB_CAM | TY_COMPONENT_DEPTH_CAM | TY_COMPONENT_IR_CAM_LEFT | TY_COMPONENT_IR_CAM_RIGHT);
	
	LOGD("Configure components, open depth cam");


	LOGD("Register event callback");
	//注册事件回调
	ASSERT_OK(TYRegisterEventCallback(handle, eventCallback, NULL));
	bool hasTrigger;
	ASSERT_OK(TYHasFeature(handle, TY_COMPONENT_DEVICE, TY_STRUCT_TRIGGER_PARAM, &hasTrigger));
	if (hasTrigger) {
		LOGD("Disable trigger mode");
		TY_TRIGGER_PARAM trigger;
		trigger.mode = TY_TRIGGER_MODE_OFF;
		ASSERT_OK(TYSetStruct(handle, TY_COMPONENT_DEVICE, TY_STRUCT_TRIGGER_PARAM, &trigger, sizeof(trigger)));
	}

	LOGD("Start capture");
	//打开相机
	ASSERT_OK(TYStartCapture(handle));
	LOGD("While loop to fetch frame");
	boost::shared_ptr<pcl::visualization::PCLVisualizer> viewer1(new pcl::visualization::PCLVisualizer("3D Viewer"));
	while (!viewer1->wasStopped()) {
		int err = TYFetchFrame(handle, &frame, -1);
		cv::Mat depth, irl, irr, color;
		//获取帧数据
		parseFrame(frame, &depth, &irl, &irr, &color, hColorIspHandle);
		TY_IMAGE_DATA dpt;
		dpt.width = depth.cols;
		dpt.height = depth.rows;
		dpt.size = depth.size().area() * 3;
		dpt.pixelFormat = TY_PIXEL_FORMAT_DEPTH16;
		dpt.buffer = depth.data;
		//定义滤波函数
		DepthSpeckleFilterParameters Spt;
		Spt.max_speckle_diff = 150;
		Spt.max_speckle_size =64;
		//实现滤波
		ASSERT_OK(TYDepthSpeckleFilter(&dpt, &Spt));

		//TY_IMAGE_DATA克隆出depth
		depth = cv::Mat(dpt.height, dpt.width, CV_16U, dpt.buffer).clone();
	
		std::vector<TY_VECT_3F> p3d;
		TY_CAMERA_CALIB_INFO depth_calib;
		TY_CAMERA_CALIB_INFO color_calib;

		pcl::PointCloud<pcl::PointXYZRGB> cloud;
		pcl::PointXYZRGB point;

		p3d.resize(depth.size().area());
		///< the threshold of the noise filter, 0 for disabled
		

		TYGetStruct(handle, TY_COMPONENT_DEPTH_CAM, TY_STRUCT_CAM_CALIB_DATA, &depth_calib, sizeof(depth_calib));  //  提取深度相机的标定数据
		TYGetStruct(handle, TY_COMPONENT_RGB_CAM, TY_STRUCT_CAM_CALIB_DATA, &color_calib, sizeof(color_calib)); // 提取RGB相机的标定数据
		TYMapDepthImageToPoint3d(&depth_calib, depth.cols, depth.rows, (uint16_t*)depth.data, &p3d[0]); // 深度图像->xyz点云

		cv::Mat color_data_mat;
		if (!color.empty())
		{
			bool hasColorCalib;
			
			TYHasFeature(handle, TY_COMPONENT_RGB_CAM, TY_STRUCT_CAM_CALIB_DATA, &hasColorCalib);// 查询有无彩色相机标定参数这一属性
			if (hasColorCalib)
			{
				doRgbRegister(depth_calib, color_calib, depth, color, color_data_mat);// 输入深度相机标定数据、彩色相机标定数据、深度图和彩色图，输出对齐后的彩色图
				cv::cvtColor(color_data_mat, color_data_mat, cv::COLOR_BGR2RGB);  // BGR 格式转换为 RGB 格式
				
			}
			
			

		}

		for (int m = 0; m < depth.rows; m++)
		{
			for (int n = 0; n < depth.cols; n++)
			{
				//将p3d 的 值赋值到新的point
				point.x = p3d[(m * (depth.cols) + n)].x;
				point.y = p3d[(m * (depth.cols) + n)].y;
				point.z = p3d[(m * (depth.cols) + n)].z;

				point.r = color_data_mat.at<cv::Vec3b>(m, n)[0];
				point.g = color_data_mat.at<cv::Vec3b>(m, n)[1];
				point.b = color_data_mat.at<cv::Vec3b>(m, n)[2];
				constexpr auto PLAIN_THRESH = 2000;
				//为了去除点云复杂背景
				//if (point.z > PLAIN_THRESH&& point.z > 800) {
				//	continue;
				//}
				//else {
				//	//添加点云
				//	cloud.points.push_back(point);
				//}
				 // 构造xyzrgb类型点云
                //如果想去除背景就修改2000  和800  的值或者根据自己的需求  自己调整x y z
                //下面是获取完整点云的
                cloud.points.push_back(point);

			}
		}
		pcl::PointCloud<pcl::PointXYZRGB>::Ptr basic_cloud_ptr(new pcl::PointCloud<pcl::PointXYZRGB>);
		basic_cloud_ptr = cloud.makeShared(); // 转换为指针格式 basic_cloud_ptr
		basic_cloud_ptr->is_dense = false;  //  自己创建的点云，默认为dense，需要修改属性，否则removenanfrompointcloud函数无效
		pcl::PointCloud<pcl::PointXYZRGB>::Ptr cloud_ptr(new pcl::PointCloud<pcl::PointXYZRGB>);
		std::vector<int> mapping;
		pcl::removeNaNFromPointCloud(*basic_cloud_ptr, *cloud_ptr, mapping); // 移除无效点
		cloud.width = (uint32_t)cloud.points.size();
		cloud.height = 1;
		viewer1->removeAllPointClouds();  // 移除当前所有点云
		//点云去噪
		pcl::StatisticalOutlierRemoval<pcl::PointXYZRGB> sor1;
		sor1.setInputCloud(cloud_ptr);
		sor1.setMeanK(50);
		sor1.setStddevMulThresh(3);
		sor1.filter(*cloud_ptr);
		//点云可视化
		viewer1->addPointCloud<pcl::PointXYZRGB>(cloud_ptr, "initial");
		viewer1->updatePointCloud(cloud_ptr, "initial");
		viewer1->spinOnce(10);
		//判断相机拍摄的图片是否为null
		if (cloud_ptr->points.size() > 0) {
			time_t timer = time(0);
			struct tm* t = localtime(&timer);
			char timeBuffer[30];
			//获取具体时间
			strftime(timeBuffer, sizeof(timeBuffer), "%Y%m%d%H%M%S", t);
			std::ostringstream ostr;
			IDDevice = selectedDev.id;//获取相机id
			ostr << ".\\Files\\PCD\\CAM" << IDDevice << "\\" << timeBuffer << "RGB.pcd";//点云保存路径
			std::string fpath;
			fpath = ostr.str();
			pcl::io::savePCDFile<pcl::PointXYZRGB>(fpath, *cloud_ptr, true); //将点云保存到PCD文件中
			
		}
		else {
			printf("NUll");
		}
		
	
		TYISPUpdateDevice(hColorIspHandle);//用于更新和控制ISP的设备状态
		LOGD("Re-enqueue buffer(%p, %d)", frame.userBuffer, frame.bufferSize);
		ASSERT_OK(TYEnqueueBuffer(handle, frame.userBuffer, frame.bufferSize)); //将分配的缓冲区排队
	}
	//关闭 api和其他接口
	ASSERT_OK(TYStopCapture(handle));
	ASSERT_OK(TYCloseDevice(handle));
	ASSERT_OK(TYISPRelease(&hColorIspHandle));
	ASSERT_OK(TYDeinitLib());
	LOGD("Main done!");
	return 0;

}

//部分函数解释
//  LOGD  相当于  printf 只能有用相机信息的打印

//f 函数本来想实现 py中try的效果（奈何失败了）

WangSaLe
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
zed双目相机图片去畸变生成点云
07-06
zed双目相机图片去畸变生成点云
Kinect的PCL点云库点云采集接口
12-08
点云技术是计算机视觉和3D重建领域的重要组成部分，它涉及到数据采集、处理、分析以及三维重建等多个环节。本文将详细讲解如何利用PCL（Point Cloud Library）库和Kinect v2传感器，通过grabber类实现点云数据的实时...
图漾深度相机开发-PCL点云实时显示
weixin_42657460的博客
08-18 5034
目录1. 从解读示例程序 SimpleView_FetchFrame 开始程序功能程序解读 相机型号：图漾科技 FS820 深度相机 【参数信息】【深度相机开发说明文档】【SDK下载】 编译环境：Ubuntu 18.04 / C++ / VS code 图漾深度相机初步使用流程见博客，在能简单应用相机示例程序的基础上，对相机进行开发，以实现三维点云处理 1. 从解读示例程序 SimpleView_FetchFrame 开始 程序功能 SimpleView_FetchFrame 是深度相机获取图像数据
图漾相机—windows- Python SDK(官网下载编译)
jiyanghao19的博客
06-06 1150
将生成的动态库 pcammls.py、 _pcammls.pyd 以及 camport3 SDK 目录下的 tycam.dll 复制到 pcammls/python 目录下，打开 Windows PowerShell 并运行生成的 python 文件即可。指定源码目录到 pcammls，指定编译输出目录到 pcammls/build，点击 Configure，选择 Visual Studio 版本和 X86/X64 版本的设置，点击 Generate。这个网站中找到自己对应的python版本安装即可。
Python相机自动采集图像，然后模板匹配、自动截取保存图片
m0_61348166的博客
02-22 2268
python，相机拍摄，模板匹配
【简单易操作】图漾TM460-E2深度网络相机在ROS-melodic环境下的配置过程
押波张飞的博客
12-04 834
防止大家踩坑的图漾TM系列深度网络相机在ROS-melodic环境下的配置过程
点云处理算法整理（超详细教程）十大点云数据处理技术梳理
热门推荐
weixin_58797039的博客
12-14 2万+
点云配准的概念类比于二维图像中的配准，只不过二维图像配准获取得到的是x，y，alpha，beta等放射变化参数，二三维点云配准可以模拟三维点云的移动和对齐，也就是会获得一个旋转矩阵和一个平移向量，通常表达为一个4×3的矩阵，其中3×3是旋转矩阵，1*3是平移向量。如果要对一个三维点云进行描述，光有点云的位置是不够的，常常需要计算一些额外的参数，比如法线方向、曲率、文理特征等等。主要包含以下几方面：点云压缩，点云索引（KDtree、Octree），点云LOD（金字塔），海量点云的渲染。
基于无人机采集拼接的激光雷达点云
01-07
基于无人机的激光雷达点云采集是一种高效、灵活的方式，用于创建高精度的地形模型、城市建筑、森林植被等三维场景的数字化表示。 标题“基于无人机采集拼接的激光雷达点云”揭示了这个数据集的来源和形式。无人机在...
由DCAM710相机采集深度数据的点云处理.zip
12-29
由DCAM710相机采集深度数据的点云处理.zip 由DCAM710相机采集深度数据的点云处理.zip 由DCAM710相机采集深度数据的点云处理.zip 由DCAM710相机采集深度数据的点云处理.zip 由DCAM710相机采集深度数据的点云处理.zip ...
图漾3D相机C#的检测程序 SQLITE
12-09
图漾3D相机C#的检测程序 SQLITE
摄像机标定matlab代码-livox_camera_lidar_calibration:校准LivoxLiDAR和相机之间的外部参数
05-20
摄像机标定matlab代码 Camera-LiDAR校准手册 该解决方案提供了一种手动校准Livox LiDAR与摄像机之间的外部参数的方法，该方法已在Mid-40，Horizo​​n和Tele-15系列上得到验证。 它包括相机固有参数的校准，校准数据的获取，相机与LiDAR之间外部参数的计算以及相机LiDAR融合应用的一些示例。 在此解决方案中，板角用作校准目标。 借助Livox LiDAR的非重复扫描特性，我们可以更轻松地找到高密度点云中拐角的准确位置。 同时，我们可以获得更好的校准结果和更好的LiDAR相机融合。 使用以下链接下载数据示例，该数据用于校准内在和外在参数。 数据已经保存在默认路径中。 步骤1：环境配置 （以下校准过程是在Ubuntu 64位16.04环境下进行的） 1.1安装环境和驱动程序 安装ROS环境，然后安装和。 如果它们已经安装，则可以跳过此步骤。 # install Livox_SDK git clone https://github.com/Livox-SDK/Livox-SDK.git cd Livox-SDK sudo ./third_party/a
利用QT显示点云与图片
05-15
利用QT显示点云与图片
图漾相机-TM461-E2(TM460-E2) TOF相机
jiyanghao19的博客
02-07 728
图漾相机TM461-TOF
RGB to Depth映射
qq_30396367的博客
06-01 473
float* GenerateXyTable(const Intrinsic& intrinsic) { if (intrinsic.focal_length[0] == 0 || intrinsic.focal_length[1] == 0) { printf("stellar camera parameters error."); return nullptr; } float* xy_table = new float[intrinsic.rows * intrinsic.c.
使用LaserScanSpeckleFilter过滤激光雷达噪点
shamozhizhoutx的博客
12-24 2687
使用laser_filters::LaserScanSpeckleFilter过滤激光雷达噪点
点云采样方法
泠山的博客
06-29 3588
点云采样方法点云采样分类1. 格点采样2. 均匀采样3. 几何采样 Reference: 点云采样 点云采样分类 点云采样的方法有很多种，常见的有均匀采样、几何采样、随机采样、格点采样等。下面介绍一些常见的采样方法： 1. 格点采样 格点采样，就是把三维空间用格点离散化，然后每个格点里采样一个点。具体方法如下： 创建格点：如中间图所示，计算点云的包围盒，然后把包围盒离散成小格子。格子的长宽高可以用户设定，也可以通过设定包围盒三个方向的格点数来求得。 每个小格子包含了若干个点，取离格子中心点最近的点作为
rs lidar使用方法之实时采集点云及可视化
abanchao的博客
02-15 2517
新手入门学习使用robosense激光雷达的基本操作步骤及流程
学习opencv
最新发布
m0_63893772的博客
07-19 280
初步学习可以参考：整体框架可以参考：
图漾相机的深度图对应的点云坐标是在哪个坐标系下。
05-25
图漾相机的深度图对应的点云坐标一般是在相机坐标系下。在相机坐标系下，相机的光心为原点，相机光轴为 Z 轴，图像平面为 XY 平面。点云的坐标值可以通过相机内参和深度值进行计算，具体计算方式可以参考相机的标定参数和深度图像转换成点云的算法。需要注意的是，点云的坐标值一般是以米为单位的，而且点云的坐标系与世界坐标系或其他坐标系之间需要进行坐标变换才能进行配准或者匹配。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WangSaLe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值