OpenCV-带有深度信息图的贴图（增强现实）

最新推荐文章于 2024-07-16 10:30:27 发布

青雲-吾道乐途

最新推荐文章于 2024-07-16 10:30:27 发布

阅读量3.7k

点赞数 1

分类专栏： opencv

本文链接：https://blog.csdn.net/qq_37059483/article/details/77542007

版权

opencv 专栏收录该内容

29 篇文章 24 订阅

订阅专栏

OpenCV创建Mat矩阵并进行带有深度信息的贴图

贴图是一件很简单得事情，我利用单目深度图像的算法进行得到的深度图信息进行贴图，也就是图片会根据深度信息进行该显示的地方显示，不该显示的地方遮挡，听起来是不是很有趣。

表示愿意活在二次元的世界里出不来

首先利用实验室的几个小动物创建场景，我们要做的事情很简单，将老虎和恐龙进行先后放置，然后把那匹马儿的图像插入恐龙和老虎之间，计算机会根据深度信息进行合理的显示马儿的身体部分，被前面老虎遮挡的部分则不显示，以往的贴图则是直接显示马儿，后面将重合的部分一点点的消除掉才会达到这种效果。（要用到的小动物依次排队，如下图所示）

摆好的场景如下图所示：

老虎在前，恐龙在后，前面红色的就是我们的单目摄像头，看起来是不是很高大上，下篇博客将揭示里面的真面目

相机采集到前后对焦图像如下图所示，（对的并不好，之前可以调的很明显的，晚上光亮什么的都粗糙了）

前对焦：

后对焦：

再来看我们获得深度图像（恐龙的貌似效果很差，有待优化）

好了，接下来直接上代码与效果图

#include <opencv2/core/core.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <iostream>

using namespace std;
using namespace cv;
int main()
{
	Mat horseImage = cv::imread("horseBlack1.bmp"); //马的图片放在工程第一层目录下即可
	cv::Mat mask = cv::imread("horseBlack1.bmp",0);
	Mat pfiImage = imread("Image.jpg");
	cv::Mat pfiImage_ROI = pfiImage(cv::Rect(0,342,2592,1260));
	cv::Mat oriPfiImage=pfiImage_ROI.clone();
	int value_width = 620;
	cv::Mat imageROI = pfiImage_ROI(cv::Rect(value_width,200,horseImage.cols,horseImage.rows));
	horseImage.copyTo(imageROI,mask);
	namedWindow("source",WINDOW_NORMAL);
	imshow("source",pfiImage_ROI);
	cv::Mat depthImage = cv::imread("m_depth.bmp",0);
	
	int nr = depthImage.rows;
	int nc = depthImage.cols;

	for(int i = 0;i < nr;i++)
	 {
		 uchar* data = depthImage.ptr<uchar>(i);
		 //uchar* pfiImage_ROI_data = pfiImage_ROI.ptr<uchar>(i);
		 //uchar* oriPfiImage_data = oriPfiImage.ptr<uchar>(i);
         for (int j = 0; j < nc; j++)
			{
				if(data[j] <120)
				{
					 pfiImage_ROI.at<Vec3b>(i,j)[0] = oriPfiImage.at<Vec3b>(i,j)[0];
					 pfiImage_ROI.at<Vec3b>(i,j)[1] = oriPfiImage.at<Vec3b>(i,j)[1];
					 pfiImage_ROI.at<Vec3b>(i,j)[2] = oriPfiImage.at<Vec3b>(i,j)[2];
					//pfiImage_ROI_data[j] = oriPfiImage_data[j];
				}
			}
	}
	namedWindow("result picture",WINDOW_NORMAL);
	imshow("result picture",pfiImage_ROI);
	waitKey();
	return 0;
}

效果如下：