Kinect 2.0去除（彩色点云）或（彩色图像和深度图像对齐后彩色图像）的重影

最新推荐文章于 2022-04-18 21:10:53 发布
最新推荐文章于 2022-04-18 21:10:53 发布
阅读量1.1k 收藏 15
点赞数 1
分类专栏： Kinect2.0 点云处理 文章标签： kinect 2.0 点云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40791099/article/details/123690120
版权

参考：kinect 2.0 SDK学习笔记（四）–深度图与彩色图对齐
主要是在这个程序里面，加了点语句，因为原理是根据深度图像像素坐标计算出来对应的原始RGB图像像素坐标，出现重影的地方可能是因为这一部分是彩色相机的盲区，没有颜色，而深度相机有像素，根据像素坐标计算出来对应到彩色图像坐标会有重复。所以只要判断每次计算出来彩色图像的坐标，是否和之前计算的重复即可。
每次计算出来彩色图像的坐标后，标记为1，下一次计算出来这个坐标发现标记为1了，说明之前已经提取过了，那么这个深度像素点很有可能就是彩色图像的盲区，把这个像素设置为黑色，就去掉重影了。
但是处理完了之后还是有重影，不知道是我对齐的部分对齐的不太好，还是我这种去除重影的方法有问题，先这样吧。

/*
功能：将深度图映射到彩色图上，生成和深度图匹配的对齐彩色图
参考：https://blog.csdn.net/jiaojialulu/article/details/53154045
https://blog.csdn.net/jiaojialulu/article/details/53154045?locationNum=8&fps=1
日志：
2020.7.23 可用！
2021.4.28 加了去除重影的部分，成功！但是不知道是不太严谨还是因为自己对齐的不太好，有些地方的重影还是存在。但是已经去除很多啦！
*/
#include <opencv2\core\core.hpp>
#include <opencv2\highgui\highgui.hpp>
#include <fstream>
#include <iostream>
#include <sstream>
#include <Eigen/Core>
#include <Eigen/LU>
#include <thread>

using namespace cv;
using namespace std;

struct KinectParm
{
	float fx_rgb;
	float fy_rgb;
	float cx_rgb;
	float cy_rgb;

	float fx_ir;
	float fy_ir;
	float cx_ir;
	float cy_ir;

	Eigen::Matrix3f R_ir2rgb;
	Eigen::Vector3f T_ir2rgb;
};

bool loadParm(KinectParm* kinectParm)
{
	// 加载参数
	ifstream parm("registration_me_modification_T.txt");
	string stringLine;
	if (parm.is_open())
	{
		// rgb相机参数：fx,fy,cx,cy
		getline(parm, stringLine);
		stringstream lin(stringLine);
		string s1, s2, s3, s4, s5, s6, s7, s8, s9;
		lin >> s1 >> s2 >> s3 >> s4;
		kinectParm->fx_rgb = atof(s1.c_str());
		kinectParm->fy_rgb = atof(s2.c_str());
		kinectParm->cx_rgb = atof(s3.c_str());
		kinectParm->cy_rgb = atof(s4.c_str());
		stringLine.clear();
		// ir相机参数：fx,fy,cx,cy
		getline(parm, stringLine);
		stringstream lin2(stringLine);
		lin2 << stringLine;
		lin2 >> s1 >> s2 >> s3 >> s4;
		kinectParm->fx_ir = atof(s1.c_str());
		kinectParm->fy_ir = atof(s2.c_str());
		kinectParm->cx_ir = atof(s3.c_str());
		kinectParm->cy_ir = atof(s4.c_str());
		stringLine.clear();

		// R_ir2rgb
		getline(parm, stringLine);
		stringstream lin3(stringLine);
		lin3 << stringLine;
		lin3 >> s1 >> s2 >> s3 >> s4 >> s5 >> s6 >> s7 >> s8 >> s9;
		kinectParm->R_ir2rgb <<
			atof(s1.c_str()), atof(s2.c_str()), atof(s3.c_str()),
			atof(s4.c_str()), atof(s5.c_str()), atof(s6.c_str()),
			atof(s7.c_str()), atof(s8.c_str()), atof(s9.c_str());
		stringLine.clear();

		// T_ir2rgb
		getline(parm, stringLine);
		stringstream lin4(stringLine);
		lin4 << stringLine;
		lin4 >> s1 >> s2 >> s3;
		kinectParm->T_ir2rgb << atof(s1.c_str()), atof(s2.c_str()), atof(s3.c_str());
	}
	else
	{
		cout << "parm.txt not right!!!";
		return false;
	}
	cout << "******************************************" << endl;

	cout << "fx_rgb:    " << kinectParm->fx_rgb << endl;
	cout << "fy_rgb:    " << kinectParm->fy_rgb << endl;
	cout << "cx_rgb:    " << kinectParm->cx_rgb << endl;
	cout << "cy_rgb:    " << kinectParm->cy_rgb << endl;
	cout << "******************************************" << endl;
	cout << "fx_ir:     " << kinectParm->fx_ir << endl;
	cout << "fy_ir:     " << kinectParm->fy_ir << endl;
	cout << "cx_ir:     " << kinectParm->cx_ir << endl;
	cout << "cy_ir:     " << kinectParm->cy_ir << endl;
	cout << "******************************************" << endl;
	cout << "R_ir2rgb:" << endl << kinectParm->R_ir2rgb << endl;
	cout << "******************************************" << endl;
	cout << "T_ir2rgb:" << endl << kinectParm->T_ir2rgb << endl;
	cout << "******************************************" << endl;
	return true;
}
int main()
{
	// 1. 读取参数
	KinectParm *parm = new KinectParm();
	if (!loadParm(parm))
		return 0;
	// 2. 载入rgb图片和深度图并显示
	Mat bgr(1080, 1920, CV_8UC4);
	bgr = imread("2020-12- 3-20-12- 5-rgb.png");
	Mat depth(424, 512, CV_16UC1);
	depth = imread("2020-12- 3-20-12- 5-depth.png", IMREAD_ANYDEPTH);   // 图片读入后的格式不一定和定义时候的一样，比如这里读入后的格式就是8UC3
	//Mat depth2rgb = imread("2019- 4-13-19-46-35-depth.png");
	// 3. 显示
	thread th = std::thread([&]{
		while (true)
		{
			imshow("原始彩色图", bgr);
			waitKey(1);
			imshow("原始深度图", depth);
			waitKey(1);
			/*imshow("原始投影图", depth2rgb);
			waitKey(1);*/
		}
	});
	// 4. 变换

	// 4.1 计算各个矩阵
#pragma region  非齐次
	Eigen::Matrix3f K_ir;           // ir内参矩阵
	K_ir <<
		parm->fx_ir, 0, parm->cx_ir,
		0, parm->fy_ir, parm->cy_ir,
		0, 0, 1;
	Eigen::Matrix3f K_rgb;          // rgb内参矩阵
	K_rgb <<
		parm->fx_rgb, 0, parm->cx_rgb,
		0, parm->fy_rgb, parm->cy_rgb,
		0, 0, 1;

	Eigen::Matrix3f R;
	Eigen::Vector3f T;
	Eigen::Vector3f T_me;//2020.6.23 自己手动平移一下
	R = K_rgb*parm->R_ir2rgb*K_ir.inverse();
	T = K_rgb*parm->T_ir2rgb;
	T_me << 10000, 0, 0;//2020.6.23 加是颜色往左移动

	cout << "K_rgb:\n" << K_rgb << endl;
	cout << "K_ir:\n" << K_ir << endl;
	cout << "R:\n" << R << endl;
	cout << "T:\n" << T << endl;

	cout << depth.type() << endl;


	// 4.2 计算投影
	Mat result(424, 512, CV_8UC3);
	int i = 0,x;
	Eigen::Matrix<double, Eigen::Dynamic, Eigen::Dynamic> matrix_NN;//创建动态矩阵，不能创建静态矩阵，因为维数太高——Eigen::Matrix<double, 1920, 1080> matrix_NN;
	matrix_NN = Eigen::MatrixXd::Zero(1920, 1080);//用零矩阵初始化

	for (int row = 0; row < 424; row++)
	{
		for (int col = 0; col < 512; col++)
		{
			unsigned short* p = (unsigned short*)depth.data;
			unsigned short depthValue = p[row * 512 + col];//16位
			//cout << "depthValue       " << depthValue << endl;
			if (depthValue != -std::numeric_limits<unsigned short>::infinity() && depthValue != -std::numeric_limits<unsigned short>::infinity() && depthValue != 0 && depthValue != 65535)
			{
				// 投影到彩色图上的坐标
				Eigen::Vector3f uv_depth(col, row, 1.0f);                            // !!!p_ir
				//Eigen::Vector3f uv_color = depthValue / 1000.f*R*uv_depth + T / 1000;   // !!!Z_rgb*p_rgb=R*Z_ir*p_ir+T; (除以1000，是为了从毫米变米)
				Eigen::Vector3f uv_color = depthValue / 1000.f*R*uv_depth + (T + T_me) / 1000;//2020.6.23//公式含义：已知深度某一像素坐标及对应深度值，求彩色图对应像素坐标及其彩色值

				int X = static_cast<int>(uv_color[0] / uv_color[2]);                // !!!Z_rgb*p_rgb -> p_rgb，这里为深度图某一像素坐标（col,row)对应的彩色图像素坐标（X，Y）（这里说的彩色图为原始彩色图：1920×1080）
				int Y = static_cast<int>(uv_color[1] / uv_color[2]);                // !!!Z_rgb*p_rgb -> p_rgb
				
			

				//cout << "X:       " << X << "     Y:      " << Y << endl;
				if ((X >= 0 && X < 1920) && (Y >= 0 && Y < 1080))
				{
					if (matrix_NN(X, Y) == 1)//2021.4.28 去除重影程序，计算出来的XY为原大小的RGB图像，只要第二次计算出来和之前计算出的坐标一样就把这个点置零，而不是赋上颜色
					{
						result.data[i * 3] = 0;
						result.data[i * 3 + 1] = 0;
						result.data[i * 3 + 2] = 0;
					}
					else
					{
						matrix_NN(X, Y) = 1;
						//cout << "X:       " << X << "     Y:      " << Y << endl;
						result.data[i * 3] = bgr.data[3 * (Y * 1920 + X)];//1920*1080个点顺次排列，再加上rgb分开来，每个像素三个值，一共1920*1080*3个数字，上面求得深度图坐标(col,row)这个点对应在彩色图中的坐标为(X,Y)通过这3个公式，就能找到这个坐标对应的rgb值
						result.data[i * 3 + 1] = bgr.data[3 * (Y * 1920 + X) + 1];//因为对于深度图col,row是顺序遍历的，所以保存到对齐后的彩色图，直接顺序保存即可
						result.data[i * 3 + 2] = bgr.data[3 * (Y * 1920 + X) + 2];
						//cout << "b:       " << result.data[i * 3] << "     g:      " << result.data[i * 3 + 1] << endl;
					}
				}
				else
				{
					result.data[i * 3] = 0;
					result.data[i * 3 + 1] = 0;
					result.data[i * 3 + 2] = 0;
				}
			}
			else
			{
				result.data[i * 3] = 0;
				result.data[i * 3 + 1] = 0;
				result.data[i * 3 + 2] = 0;
			}
			i++;
			//cout << "i=" << i << endl;
		}
	}
	imwrite("2020-12- 3-20-12- 5-result.png", result);
	thread th2 = std::thread([&]{
		while (true)
		{
			imshow("结果图", result);
			waitKey(1);
		}
	});

	th.join();
	th2.join();
#pragma endregion


	system("pause");
	return 0;
}

原始彩色图像：
请添加图片描述
对齐后的彩色图像：
请添加图片描述

qq_40791099
关注
  • 1
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
kinect彩色图像对齐到深度并显示结果
06-08
将kinect获取的彩色图像映射到深度坐标下，用OpenCV显示彩色图像以及深度图像并显示结果。并比较了两种配准方法，一种为简单图像变换，一种是深度彩色之间坐标变换。
在一棵度为4的树T中，若有20个度为4的节点，10个度为3的节点，1个度为2的节点，10个度为1的节点，则树T的叶节点个数 答案：82
热门推荐
qq_43625764的博客
01-10 5万+
度为4的树： 度：某个节点的子节点个数 叶结点：度为0的结点 度为4的树，说明该树中结点的子结点最多为4个 树中结点总个数=（所有的结点的度数)+1 ∵ 在树中，除了根节点没有前驱结点，其他节点有且只有一个前驱节点(树的定义) 又∵ 父结点的‘度’是子结点的个数，而每个子结点前驱结点都是该父结点 ∴ 因此，所有结点的“度”加起来，就是把所有结点子结点的个数加起来，又因为，根结点没有父节点，所以所...
kinect v1深度相机介绍以及ubuntu16.04下的使用
puqian13的博客
09-03 4769
kinect-v1深度相机介绍以及ubuntu16.04下的使用
基于ROS机器人的3D物体识别与三维重建(二) Kinect2相机标定与点云获取
Ray Home
11-20 9948
（二）Kinect2相机标定与点云数据获取
深度图，点云图滤波去噪方法
AIGC Studio：分享AIGC前沿知识和好玩应用
10-07 1万+
泊松方程滤波：     泊松方程滤波的方法对深度图像进行滤波降噪。通过泊松方程滤波算法对被测物体或环境的表面进行判断，分辨出表面特征点是否有噪声成分。根据泊松方程滤波算法的定义，微软公司给出的方法其基本原理为：首先，获取被测物体表面的特征点，将每个特征点的坐标经旋转运算和坐标转换等运算得到每个特征点的方向和方向角度，并预测该特征点的空间坐标范围。然后，通过泊松方程和特征点的方向及方向角度，在以特
kinect-v2彩色深度配准并修复深度图像并获取三维坐标
06-08
kinect-v2修复深度图像并用修复后图像进行彩色深度配准并，用opencv显示配准结果，并获取场景中所有点的三维坐标，用opengl显示三维场景
Intel Realsense D435 深度图为什么会出现残影？（Invalid Depth Band 无效深度带）（黑洞）
Dontla的博客
12-16 3403
现象描述 回答 图像最左侧的噪声通常与称为“无效深度带”的现象有关，该现象会在相机靠近物体时扩大。 在当前版本的400系列摄像机的数据表文档的第59-60页中对此进行了描述。 The depth data generated with stereo vision uses the left imager as the reference for stereo matching result...
改善深度相机获取的深度图质量（稳定性）的trick
weixin_43030192的博客
04-18 2298
用kinect或者realsense获取的深度图或者点云图，由于传感器获取深度信息的不稳定性，经常出现一张图里面，有些深度信息丢失，尤其是物体边缘，因此怎么进行预处理得到较好的质量的数据很关键。 1.时序数据的统计方法 多取N个时刻的数据（因为相机和物体保持不变），得到N张深度图，理论上这些数据应该相同，但由于传感器的不稳定性，有小部分不一致，因此可通过N张深度图，其每个pixel的值可进行累计求均值来改善，大致算法如下（来自别人的硕士论文“基于RealSense的散乱零件三维目标识别”） 2.利
realsense D435学习(二)：深度图片对齐到彩色图片
yuchunhai321的博客
03-16 6116
1.sdk实现 程序流程： （1） 创建窗口 （2）创建数据管道以及配置信息 （3）打开数据管道，并传入配置信息，打开的函数返回一个profile对象 （4）选择要将深度图对齐到什么数据流（这里选择对齐到RS2_STREAM_COLOR流） （6）定义一个align对象 （7）取新的一帧，通过align对象即可获得对齐后的帧（再重复一遍，这个例子是将深度图对齐到彩色图，即彩色图不变，深度图发生变化） （8）将对应的帧输出（详细可参见 ----） （10）注意：这里虽然有个 rs2::等待捕
第二届人工智能竞赛——题目十、Kinect深度图与彩色图配准
JMUAIA
03-17 897
第二届人工智能竞赛——题目十、Kinect深度图与彩色图配准 文章目录第二届人工智能竞赛——题目十、Kinect深度图与彩色图配准一、简介二、题目要求三、参考资料 一、简介 Kinect能获取环境中的深度图（Depth）和彩色图（RGB），但是由于深度摄像头和彩色摄像头并不是在同一空间位置，所以采集到的深度图和彩色图并不完全一致。而深度图和彩色图的配准对使用Kinect数据有非常重要的意义。 二、...
Kinect采集深度和彩色图像并同时保存
02-20
同时采集Kinect的深度图像和彩色图像，并且可实时将同一时刻采集的两种图像保存到相应目录。 同时采集Kinect的深度图像和彩色图像，并且可实时将同一时刻采集的两种图像保存到相应目录。
kinectV2获取深度图像和彩色图像
12-12
kinectV2获取深度图像和彩色图像，代码看起来通俗易懂，
VS2010未能成功加载解决方案中的一个或者多个项目
qq_43757702的博客
12-01 4943
问题：打开工程项目，出现未能加载解决方案的情况，如图所示： 分析：出现上述问题的主要原因是，在原工程中配置了新的属性表，当项目的保存地址发生改变后，导致工程搜索不到属性表的位置。 方法：1.关闭提示窗口，在输出窗口会显示造成此问题的原因； 2.双击错误问题，会自动打开一个xml文档，该文档是工程文件里的.vcxproj的文件; 3.找到文档中属性表的地址，注释掉或者删掉，关闭项目后重新打开，就可以解决此问题。（注：后续项目的操作，如果需要，则重新配置属性表） （知识点：xml文..
电脑故障维修判断指导大全（联想内部文件）
逍遥大闸蟹日记
01-08 8624
电脑故障维修判断指导大全（联想内部文件）前 言： 本《电脑故障维修判断指导大全》中所有编辑文章版权归原作者和本站所有。一切商业媒体如要引用本教程内容请与本站联系!网上非盈利媒体引用本教程时请注明作者及出处!本教程纯属学习研究性质，对于您使用本教程中技术所导致的一切后果本站不负任何责任！  ***********本电子书由“XXX”网上收集编辑，特别感谢原文作者的好文章。*********** 第一
kinect 2.0 学习笔记_深度相机内参
qq_37791134的博客
07-07 1万+
深度相机内参和红外相机是一样的。今天来学习一下如何通过kinect的API求得内参。代码：#include "kinect.h" #include &lt;iostream&gt; #include &lt;opencv2/core/core.hpp&gt; #include &lt;opencv2/opencv.hpp&gt; #include &lt;opencv2/highgui/highg...
Kinect三维重建2222——地面去除与法向量计算
徐某人的博客
08-30 420
———————————————— 版权声明：本文为CSDN博主「悄然的我-粤Y」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/u010848251/article/details/71023259 ——————————————————————————————————————————— 从上一节中我们得到了8个PCD文件，其中第一个文件是地面点云，第二个文件是地面+盒子的点云，后面的文件是6个不同角度的地面+盒子+
Kinect2.0 mapping 深度相机图像和颜色相机图像
happy_frank的博客
07-14 4979
首先感谢 @aipiano 给我的指引 http://blog.csdn.net/AIchipmunk/article/details/9264703 具体过程 这个深度图像： 这个是颜色图像 在aipiano 方法中需要提取深度图像的深度值，但深度图像用微软自带Kinect的是经过处理后的，所以需要将微软的源代码进行修改，提取深度图像的原始数据。我将其原始数据用opencv存起来
点云处理基础操作
qq_40791099的博客
07-24 3230
PCL点云处理基础操作点云定义（还是点云指针定义？一直搞不懂）1. 读取和保存点云批量存取时文件名写法注意！2. 定义一个新的点云3. 去除NAN点4. 遍历点云5. 查看点云点数 点云定义（还是点云指针定义？一直搞不懂） //常用 typedef pcl::PointXYZRGBA PointT; pcl::PointCloud<PointT>::Ptr cloud(new pcl::PointCloud<PointT>); //两个一起定义：pcl::PointCloud<
ros中如何查看 Kinect 相机的彩色图像和深度图像？
最新发布
05-23
在ROS中，你可以使用 `openni_launch` 包来启动Kinect相机并订阅彩色图像和深度图像。 首先，安装 `openni_launch` 包： ``` sudo apt-get install ros-<distro>-openni-launch ``` 其中 `<distro>` 是你的ROS...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值