PnP 单目相机位姿估计（二）：solvePnP利用二维码求解相机世界坐标

solvePnP利用二维码求解相机世界坐标
最新推荐文章于 2025-09-13 14:03:59 发布
原创 最新推荐文章于 2025-09-13 14:03:59 发布 · 5.5w 阅读 · 525 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pnp #位姿 #单目相机 #世界坐标 #相机坐标

本文介绍了如何使用PnP算法解决单目相机的位姿估计问题，特别是通过解决P4P问题利用二维码的四个角点来求解相机在世界坐标系中的位置和姿态。详细讲解了输入参数的准备，包括世界坐标、像素坐标、相机内参矩阵和畸变系数，并提供了求解相机世界坐标的步骤和代码实现。

IDE：visual studio 2013
使用库：Eigen opencv2.4.9
文档版本：1.1

1.前言

　　很多时候，当我们利用单目相机获取图像时，往往只能获取图像中特征物体的像素坐标。而在空间三维点计算时，我们也第一时间会想到深度相机（Kinect、Realsense等）、双目相机等。
　　但是在实际中，我们亦可以通过单目相机来求得空间三维点，但这个往往有一个条件，已知特征物体的三个以上特征点参数。

在本章中，我们将使用二维码作为标志物，通过二维码四个角点，通过P4P求解相机的位姿及空间坐标。
特别说明：在本章以及未来的几篇博文中都将以右手坐标系为基准，Z轴垂直于二维码平面往里。

这里写图片描述
　　
　　　　　　　　　　　　　　　二维码参数：长140mm，宽140mm

在求解时不一定要使用二维码，也可以用其它标志物代替，使用二维码的好处是，通过识别二维码内部的信息可以更精准的匹配以及识别，同时也能更容易的确定四个角点的顺序。
　　

2.原理简介

bool solvePnP(InputArray objectPoints, InputArray imagePoints, InputArray cameraMatrix, InputArray distCoeffs, OutputArray rvec, OutputArray tvec, bool useExtrinsicGuess=false, int flags=ITERATIVE )

　　objectPoints：特征点的世界坐标，坐标值需为float型，不能为double型，可以为mat类型，也可以直接输入vector
　　imagePoints：特征点在图像中的像素坐标，可以输入mat类型，也可以直接输入vector，注意输入点的顺序要与前面的特征点的世界坐标一一对应
　　cameraMatrix：相机内参矩阵
　　distCoeffs：相机的畸变参数【Mat_(5, 1)】
　　rvec：输出的旋转向量
　　tvec：输出的平移矩阵
　　最后的输入参数有三个可选项：
　　CV_ITERATIVE，默认值，它通过迭代求出重投影误差最小的解作为问题的最优解。
　　CV_P3P则是使用非常经典的Gao的P3P问题求解算法。 <

最低0.47元/天 解锁文章
单目相机位姿估计：PNP算法原理与实践
WzisTypescript的博客
09-24 1782
其中，PNP算法是一种常用的解决方案，可以通过已知的3D点与它们在图像中对应的2D点来计算相机的位姿。其中，PNP算法是一种常用的解决方案，可以通过已知的3D点与它们在图像中对应的2D点来计算相机的位姿。其中，s是尺度因子，u是2D点在图像平面上的坐标，K是相机内参矩阵，R是旋转矩阵，T是平移向量，P是3D点在世界坐标系下的坐标。其中，s是尺度因子，u是2D点在图像平面上的坐标，K是相机内参矩阵，R是旋转矩阵，T是平移向量，P是3D点在世界坐标系下的坐标。函数来估计相机的位姿，其中的。
一文读懂PnP问题及opencv solvePnP、solvePnPRansac函数
weixin_43949950的博客
08-15 1万+
一文读懂PnP问题，以及opencv中solvePnP函数与solvePnPRansac函数使用，扩展PnP求解原理
PnP 单目相机位姿估计（一）：初识PnP问题
热门推荐
cocoaqin的博客
09-04 5万+
简介 理解 更多 IDE：visual studio 2013 使用库：Eigen opencv2.4.9 文档版本：1.0简介 　　PnP问题是求解3D-2D点对运动的方法。他描述了当知道n个三维空间点坐标及其二维投影位置时，如何估计相机的位姿。我们可以想象，在一幅图像中，最少只要知道三个点的空间坐标即3D坐标，就可以用于估计相机的运动以及相机的姿态。 　　而特征点的空间坐标
C++ OpenCV中solvePnP()函数中几种PnP方法
qq_41135011的博客
02-25 2797
方法基于论文X.S. Gao, X.-R. Hou, J. Tang, H.-F. Chang “Complete Solution Classification for the Perspective-Three-Point Problem”。通过这种方式函数找到重投影误差最小化的位姿，重投影误差是“像点”和被投影的“物点”的平方距离之和。非平面“物点”需要至少6个点并使用DLT算法求出初始解。位于同平面的“物点”需要至少4个点并使用单应矩阵分解算出初始解。这种方法需要正好4个物方和像方点。
OpenCV相机姿态更新与实战应用
最新发布
weixin_42430341的博客
09-13 675
相机姿态估计是计算机视觉中的核心问题，其目标是通过已知的三维空间点与对应的二维图像点，求解相机在三维世界中的旋转和平移参数。这一过程是实现增强现实（AR）、机器人定位、三维重建与SLAM（同步定位与建图）等技术的基础。在姿态估计中，我们通常涉及两个关键坐标系：世界坐标系与相机坐标系。世界坐标系是全局参考系，而相机坐标系则以相机为中心，描述了相机的朝向和位置。
OpenCV:solvePnP参数介绍
originalcandy的博客
12-07 2万+
转自https://www.jianshu.com/p/b97406d8833c 背景介绍 由于实验室项目的原因，最近学习了基于PNP方法的绝对位姿测量。 如果场景的三维结构已知，利用多个控制点在三维场景中的坐标及其在图像中的透视投影坐标即可求解出摄像机坐标系与表示三维场景结构的世界坐标系之间的绝对位姿关系，包括绝对平移向量t以及旋转矩阵R，该类求解方法统称为N点透视位姿求解（Perspect...
PnP 单目相机位姿估计（三）：二维码角点检测
cocoaqin的博客
09-07 1万+
解PnP问题时，用二维码的好处 二维码由黑白两色组成，容易通过对图像阈值处理而发现 二维码具有方向性（只要设计的不为中心对称），可以更好的辅助求解位姿 二维码具有可识别性，即可解析二维码内部黑白块的排列顺序，从而确定该二维码是否为我们所要用的二维码 二维码识别的流程 该流程以该二维码为例阈值处理，二值化操作 去掉二维码周围一圈，即保存为5*5的信息 计算5*5图像内的海明距离，和程序所设定要查找
实战 | 巧用位姿解算实现单目相机测距
06-10 3228
点击关注上方“AI深度视线”，并“星标”公号 技术硬文，第一时间送达！ 在项目过程中，总遇到需要单目视觉给出目标测距信息的情况，其实单目相机本不适合测距，即使能给出，精度也有限，只能在有限制的条件下或者对精度要求很不高的情况下进行应用。该文结合SLAM方法，通过3D-2D解算相机位姿的方式给出一种另类的单目测距方法，行之有效。 1 相机模型 要实现单目测距，那么相机参数是单目测距所必不可少的。相机参数有内参和外参之分： 相机内参：是与相机自身特性相关的参数，比如相机的焦距、像素大小等； .
相机姿态估计（一）--PnP
工作笔记
07-26 4万+
PnP（pespective-n-point）问题，就是已知的n个空间3D点与图像2D点对应的点对，计算相机位姿、或者物体位姿，二者是等价的。 有个通俗，但很有用的解释： 以下讨论中设相机位于点Oc，P1、P2、P3……为特征点。 Case1：当N=1时 当只有一个特征点P1，我们假设它就在图像的正中央，那么显然向量OcP1就是相机坐标系中的Z轴，此事相机永远是面对P1，于是相机可能的位...
【姿态估计】Pose estimation algorithm 之 Robust Planar Pose (RPP)algorithm
记录成长过程中的点点滴滴
11-21 2万+
The RPP algorithm gives a more stable tracking (less jitter) than ARToolKit's pose estimation algorithm. The robust pose estimator algorithm has been provided by G. Schweighofer and A. Pinz (Inst.of
PnP位姿估计matlab工具包
09-03
最新的位姿估计工具箱，对应文献为：Very Fast Solution to the PnP Problem with Algebraic Outlier Rejection。PnP问题是计算机视觉中非常基础的经典问题，可以用来测量目标的三维位置姿态。
摄像机外参数标定（位姿估计 pose estimation）的经典文章和代码 EPNP
07-03
摄像机外参数标定（位姿估计 pose estimation）的经典文章和代码 EPNP
单目视觉的位姿估算算法
11-22
单目视觉的位姿估算算法 matlab代码 基于位姿估算正交迭代的算法，有test程序和主程序，test中可以比对估算的精度
相机姿态slovePnP 方法求解
02-27
`solvePnP`是“Perspective-n-Point”问题的一个解决方案，它的目标是基于一系列二维图像点和对应的三维世界坐标点，以及相机内参，来估计物体或相机的位置与方向。这里的“n”代表的是用于定位的点的数量。此方法...
相机位姿估计
03-15
相机位姿估计是指通过已知的三维空间点及其对应的二维图像投影点来计算相机相对于世界坐标系的姿态（旋转和平移）。以下是基于 OpenCV 和 Python 的相机位姿估计技术及相关算法原理。 #### 1. 基于棋盘格的相机标定...
二维码位姿相机
08-13
使用二维码进行相机位姿估计是一种常见且高效的方法，尤其适用于需要实时性和高精度的应用场景。以下是实现该方法的详细流程： ### 1. **二维码检测与角点提取** 二维码具有明确的几何结构和可识别性，因此非常适合...
位姿估计之PnP算法
feng_float的博客
01-27 2万+
最近实验室学习安排是了解Pnp问题解法，于是就在网上找了各种文章学习，在此进行总结，给我卷！！！ 1.什么是PnP问题？ ​​​​​​PnP(全称Perspective-n-Points)，指3D到2D点对的物体运动定位问题，即已知物体在世界坐标系下的坐标，以及物体在相机的图像平面的像素坐标，求解相机的位姿（六个自由度，位置坐标和三个方向角）。 2.PnP问题的可解性 知道了PnP问题后，就要讨论n在不同取值下的可解性了。 case1： ...
推导到实践， PnP求解相机位姿
weixin_41776963的博客
11-19 2781
一旦匹配好的点确定后，接下来就是估计相机的运动。此篇主要是讲第3种，以实践为主，对原理只作必要的简单解释：一，因为这块的某些概念比较复杂，如果深究会涉及到多视角几何学以及矩阵论的相关内容，很多人其实对这个的知识储备不够，初学者很容易淹没其中，迷失方向；二是，这里面的很多实现，OpenCV已经封装好了，初学者直接调用相关函数即可。
PnP算法
03-18
<think>好的，我需要回答用户关于PnP算法在计算机视觉中的实现和解释的问题。首先，我需要回忆一下PnP算法的基本概念。PnP代表Perspective-n-Point，是一种用于根据已知的3D点及其对应的2D投影来估计相机位姿（位置和方向）的算法。常见的PnP算法包括EPnP、DLT、UPnP等。 接下来，我需要确定用户的需求。用户可能想了解PnP算法的基本原理、数学推导以及如何实现。因此，我应该先介绍PnP的定义和应用场景，比如在AR、机器人定位中的应用。然后，可能需要详细解释至少一种算法，例如EPnP或DLT，包括其数学步骤，比如构建方程组、求解旋转矩阵和平移向量等。 用户提到需要符合系统级指令，比如数学表达式用$...$，独立公式用$$...$$。因此，在解释算法时，要确保所有公式的格式正确。例如，相机的投影模型可以用齐次坐标表示，写成$$s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \mathbf{K} [\mathbf{R} | \mathbf{t}] \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$$，其中$\mathbf{K}$是内参矩阵，$\mathbf{R}$和$\mathbf{t}$是旋转和平移矩阵。 然后，我需要考虑如何实现PnP算法。可能提到使用OpenCV中的solvePnP函数，并给出Python代码示例。代码需要正确展示调用方法，比如传入3D点、2D点、内参矩阵和畸变系数等参数，并解释输出结果的含义。 生成相关问题部分，需要根据PnP的常见疑问点来设计，比如如何选择不同的PnP方法、处理噪声数据、优化精度，以及与其他算法如ICP的比较等。 同时，注意引用格式。用户提供的引用[1]是关于等平面集成注入逻辑的，可能不相关，但可能在回答中提到其他引用来源，比如OpenCV文档或其他论文，需要正确标注。 最后，确保回答结构清晰，分点解释，帮助用户逐步理解，并保证信息的准确性和可靠性。检查LaTeX语法是否正确，避免格式错误，使用中文回答，保持自然流畅。</think>### PnP算法原理与实现 PnP（Perspective-n-Point）算法用于根据$n$组3D-2D点对应关系，求解相机的位姿（位置和方向）。其核心是建立相机投影模型与非线性优化框架，最小化重投影误差。 #### 1. 数学建模 相机的投影模型可表示为： $$s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \mathbf{K} [\mathbf{R} | \mathbf{t}] \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$$ 其中： - $s$为尺度因子 - $\mathbf{K}$为内参矩阵（包含焦距$f_x, f_y$和主点$c_x, c_y$） - $\mathbf{R}, \mathbf{t}$为待求的旋转矩阵和平移向量 #### 2. 经典算法实现 **(1) DLT（直接线性变换）** 将方程展开为线性方程组： $$\begin{bmatrix} X & Y & Z & 1 & 0 & 0 & 0 & 0 & -uX & -uY & -uZ \\ 0 & 0 & 0 & 0 & X & Y & Z & 1 & -vX & -vY & -vZ \end{bmatrix} \mathbf{p} = 0$$ 通过SVD分解求解投影矩阵$\mathbf{P}$，再分解出$\mathbf{R}$和$\mathbf{t}$[^2]。 **(2) EPnP（高效PnP）** 将3D点表示为4个控制点的加权和： $$ \mathbf{p}_i = \sum_{j=1}^4 \alpha_{ij} \mathbf{c}_j $$ 建立关于控制点坐标的线性方程，通过SVD求解后恢复位姿[^3]。 #### 3. OpenCV实现示例 ```python import cv2 import numpy as np # 3D物体点（单位：米） obj_pts = np.array([[0,0,0], [1,0,0], [1,1,0], [0,1,0]], dtype=np.float32) # 对应2D图像点 img_pts = np.array([[100,200], [300,200], [300,400], [100,400]], dtype=np.float32) # 相机内参矩阵 K = np.array([[800, 0, 320], [0, 800, 240], [0, 0, 1]]) # 使用solvePnP求解 success, rvec, tvec = cv2.solvePnP(obj_pts, img_pts, K, None) # 将旋转向量转换为矩阵 R, _ = cv2.Rodrigues(rvec) print(f"Rotation Matrix:\n{R}\nTranslation Vector:\n{tvec}") ``` #### 4. 关键优化技术 - **RANSAC鲁棒估计**：应对特征匹配噪声 - **光束法平差（Bundle Adjustment）**：非线性优化提升精度 - **多假设验证**：结合IMU等传感器数据融合
评论 49
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值