照相机模型与增强现实

最新推荐文章于 2023-09-04 09:39:25 发布
最新推荐文章于 2023-09-04 09:39:25 发布
阅读量141 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym115/article/details/89085049
版权

1、PyGame和PyOpenGL

代码：

from pylab import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, camera
from PCV.localdescriptors import sift

"""
This is the augmented reality and pose estimation cube example from Section 4.3.
"""


def cube_points(c, wid):
    """ Creates a list of points for plotting
        a cube with plot. (the first 5 points are
        the bottom square, some sides repeated). """
    p = []
    # bottom
    p.append([c[0]-wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]-wid, c[2]-wid]) #same as first to close plot
    
    # top
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]-wid, c[2]+wid]) #same as first to close plot
    
    # vertical sides
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    
    return array(p).T


def my_calibration(sz):
    """
    Calibration function for the camera (iPhone4) used in this example.
    """
    row, col = sz
    fx = 2555*col/2592
    fy = 2586*row/1936
    K = diag([fx, fy, 1])
    K[0, 2] = 0.5*col
    K[1, 2] = 0.5*row
    return K



# compute features
sift.process_image('book_frontal.JPG', 'im0.sift')
l0, d0 = sift.read_features_from_file('im0.sift')

sift.process_image('book_perspective.JPG', 'im1.sift')
l1, d1 = sift.read_features_from_file('im1.sift')


# match features and estimate homography
matches = sift.match_twosided(d0, d1)
ndx = matches.nonzero()[0]
fp = homography.make_homog(l0[ndx, :2].T)
ndx2 = [int(matches[i]) for i in ndx]
tp = homography.make_homog(l1[ndx2, :2].T)

model = homography.RansacModel()
H, inliers = homography.H_from_ransac(fp, tp, model)

# camera calibration
K = my_calibration((747, 1000))

# 3D points at plane z=0 with sides of length 0.2
box = cube_points([0, 0, 0.1], 0.1)

# project bottom square in first image
cam1 = camera.Camera(hstack((K, dot(K, array([[0], [0], [-1]])))))
# first points are the bottom square
box_cam1 = cam1.project(homography.make_homog(box[:, :5]))


# use H to transfer points to the second image
box_trans = homography.normalize(dot(H,box_cam1))

# compute second camera matrix from cam1 and H
cam2 = camera.Camera(dot(H, cam1.P))
A = dot(linalg.inv(K), cam2.P[:, :3])
A = array([A[:, 0], A[:, 1], cross(A[:, 0], A[:, 1])]).T
cam2.P[:, :3] = dot(K, A)

# project with the second camera
box_cam2 = cam2.project(homography.make_homog(box))



# plotting
im0 = array(Image.open('book_frontal.JPG'))
im1 = array(Image.open('book_perspective.JPG'))

figure()
imshow(im0)
plot(box_cam1[0, :], box_cam1[1, :], linewidth=3)
title('2D projection of bottom square')
axis('off')

figure()
imshow(im1)
plot(box_trans[0, :], box_trans[1, :], linewidth=3)
title('2D projection transfered with H')
axis('off')

figure()
imshow(im1)
plot(box_cam2[0, :], box_cam2[1, :], linewidth=3)
title('3D points projected in second image')
axis('off')

show()

运行结果：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、在图像中放置虚拟物体

代码：

import math
import pickle
from pylab import *
from OpenGL.GL import * 
from OpenGL.GLU import * 
from OpenGL.GLUT import * 
import pygame, pygame.image 
from pygame.locals import *
from PCV.geometry import homography, camera
from PCV.localdescriptors import sift

def cube_points(c, wid):
    """ Creates a list of points for plotting
        a cube with plot. (the first 5 points are
        the bottom square, some sides repeated). """
    p = []
    # bottom
    p.append([c[0]-wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]-wid, c[2]-wid]) #same as first to close plot
    
    # top
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]-wid, c[2]+wid]) #same as first to close plot
    
    # vertical sides
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    
    return array(p).T
    
def my_calibration(sz):
    row, col = sz
    fx = 2555*col/2592
    fy = 2586*row/1936
    K = diag([fx, fy, 1])
    K[0, 2] = 0.5*col
    K[1, 2] = 0.5*row
    return K

def set_projection_from_camera(K): 
	glMatrixMode(GL_PROJECTION) 
	glLoadIdentity()
	fx = K[0,0] 
	fy = K[1,1] 
	fovy = 2*math.atan(0.5*height/fy)*180/math.pi 
	aspect = (width*fy)/(height*fx)
	near = 0.1 
	far = 100.0
	gluPerspective(fovy,aspect,near,far) 
	glViewport(0,0,width,height)

def set_modelview_from_camera(Rt): 
	glMatrixMode(GL_MODELVIEW) 
	glLoadIdentity()
	Rx = np.array([[1,0,0],[0,0,-1],[0,1,0]])
	R = Rt[:,:3] 
	U,S,V = np.linalg.svd(R) 
	R = np.dot(U,V) 
	R[0,:] = -R[0,:]
	t = Rt[:,3]
	M = np.eye(4) 
	M[:3,:3] = np.dot(R,Rx) 
	M[:3,3] = t
	M = M.T
	m = M.flatten()
	glLoadMatrixf(m)

def draw_background(imname):
	bg_image = pygame.image.load(imname).convert() 
	bg_data = pygame.image.tostring(bg_image,"RGBX",1)
	glMatrixMode(GL_MODELVIEW) 
	glLoadIdentity()

	glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT)
	glEnable(GL_TEXTURE_2D) 
	glBindTexture(GL_TEXTURE_2D,glGenTextures(1)) 
	glTexImage2D(GL_TEXTURE_2D,0,GL_RGBA,width,height,0,GL_RGBA,GL_UNSIGNED_BYTE,bg_data) 
	glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MAG_FILTER,GL_NEAREST) 
	glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MIN_FILTER,GL_NEAREST)
	glBegin(GL_QUADS) 
	glTexCoord2f(0.0,0.0); glVertex3f(-1.0,-1.0,-1.0) 
	glTexCoord2f(1.0,0.0); glVertex3f( 1.0,-1.0,-1.0) 
	glTexCoord2f(1.0,1.0); glVertex3f( 1.0, 1.0,-1.0) 
	glTexCoord2f(0.0,1.0); glVertex3f(-1.0, 1.0,-1.0) 
	glEnd()
	glDeleteTextures(1)


def draw_teapot(size):
	glEnable(GL_LIGHTING) 
	glEnable(GL_LIGHT0) 
	glEnable(GL_DEPTH_TEST) 
	glClear(GL_DEPTH_BUFFER_BIT)
	glMaterialfv(GL_FRONT,GL_AMBIENT,[0,0,0,0]) 
	glMaterialfv(GL_FRONT,GL_DIFFUSE,[0.5,0.0,0.0,0.0]) 
	glMaterialfv(GL_FRONT,GL_SPECULAR,[0.7,0.6,0.6,0.0]) 
	glMaterialf(GL_FRONT,GL_SHININESS,0.25*128.0) 
	glutSolidTeapot(size)

width,height = 1000,747
def setup():
	pygame.init() 
	pygame.display.set_mode((width,height),OPENGL | DOUBLEBUF) 
	pygame.display.set_caption("OpenGL AR demo")    

# compute features
sift.process_image('C:/Users/XCX/.spyder-py3/data/book_frontal.JPG', 'im0.sift')
l0, d0 = sift.read_features_from_file('im0.sift')

sift.process_image('C:/Users/XCX/.spyder-py3/data/book_perspective.JPG', 'im1.sift')
l1, d1 = sift.read_features_from_file('im1.sift')

# match features and estimate homography
matches = sift.match_twosided(d0, d1)
ndx = matches.nonzero()[0]
fp = homography.make_homog(l0[ndx, :2].T)
ndx2 = [int(matches[i]) for i in ndx]
tp = homography.make_homog(l1[ndx2, :2].T)

model = homography.RansacModel()
H, inliers = homography.H_from_ransac(fp, tp, model)

K = my_calibration((747, 1000))
cam1 = camera.Camera(hstack((K, dot(K, array([[0], [0], [-1]])))))
box = cube_points([0, 0, 0.1], 0.1)
box_cam1 = cam1.project(homography.make_homog(box[:, :5]))
box_trans = homography.normalize(dot(H,box_cam1))
cam2 = camera.Camera(dot(H, cam1.P))
A = dot(linalg.inv(K), cam2.P[:, :3])
A = array([A[:, 0], A[:, 1], cross(A[:, 0], A[:, 1])]).T
cam2.P[:, :3] = dot(K, A)

Rt=dot(linalg.inv(K),cam2.P)
 
setup() 
draw_background("C:/Users/XCX/.spyder-py3/data/book_perspective.bmp") 
set_projection_from_camera(K) 
set_modelview_from_camera(Rt)
draw_teapot(0.05)

pygame.display.flip()
while True: 
	for event in pygame.event.get():
		if event.type==pygame.QUIT:
			sys.exit()

实现结果：
在这里插入图片描述

lym115
关注
照相机模型与增强现实 -增强现实
qq_37328774的博客
04-10 385
1.以平面和标记物进行姿态估计 我们学习了如何从平面间估计单应性矩阵，若图像中包含平面状的标记物体，并且已经对照相机进行了标定，那么我们可以计算出照相机的姿态（旋转和平移）。我们使用照相机拍摄了两幅图像，两张图像都存在平面状的标记物体，先提取两幅图像的SIFT特征，然后使用RANSAC算法稳健估计单应性矩阵。通过单应性矩阵和照相机的标定矩阵，我们可以得出两个视图之间的相对变换。 代码实现如下 fr...
照相机模型与现实增强
titansm的博客
04-06 919
照相机模型与现实增强 (该实验参书籍：Python计算机视觉编程 第四章) （代码为书上源码） 文章目录照相机模型与现实增强1.运行增强现实相关代码是遇到的问题2.在视频实现现实增强3.开始实验1.用摄像头获取视频（如果是用手机拍摄的话可以跳过，建议不要录太长的视频）2.对生成的视频进行sift特征处理3.增强现实的实现4.视频合成 1.运行增强现实相关代码是遇到的问题 问题1：OpenGL.er...
【计算机视觉】照相机模型与增强现实
小丸子的博客
04-07 532
1、照相机标定 标定照相机是指计算出该照相机的内参数。 def my_calibration(sz): """ Calibration function for the camera (iPhone4) used in this example. """ row, col = sz fx = 2555*col/2592 fy = 2586*ro...
照相机模型与现实增强的代码整合版
04-06
本资源是一个关于如何将照相机模型与现实增强技术整合的代码实现，特别适合对Python编程感兴趣的开发者进行学习和实践。 照相机模型是计算机视觉的基础，它描述了摄像头如何捕捉并解析三维世界中的信息。在二维图像...
OpenGL照相机模型与增强现实
weixin_43836818的博客
04-07 666
本文将尝试对照相机进行建模并有效地使用这些模型。 (该实验参书籍：Python计算机视觉编程 第四章) (代码为书上源码) 1.1 照相机标定 标定照相机是指计算出该照相机的内参数。其标准方法是，拍摄多幅平面棋盘模式的图像，然后进行处理计算。 这里将要介绍一个简单的照相机标定方法。大多数参数可以使用基本的假设来设定（正方形垂直的像素，光心位于图像中心），比较难处理的是获得正确的焦距。对于这种标定方...
计算机视觉——照相机模型与增强现实
yf_0707的博客
04-07 595
照相机模型与增强现实 1、针孔相机模型 针孔相机模型是计算机视觉中广泛使用的相机模型。对于大多数应用来说，针孔照相机模型简单，并且具有足够的精神度。该相机从一个小孔采集射到暗箱内部的光线。在针孔照相机模型中，在光线投影到图像平面之前，从唯一一个点经过，也就是照相机中心。 针孔相机模型： 1.1照相机矩阵 照相机矩阵可以分解为： 这里，K是内参矩阵。[I|0]是外参矩阵 内参矩阵： 这里，...
学习笔记 5 — 照相机模型与增强现实
Yebin的博客
04-15 393
一、姿态估计 在上一篇博客中，我们提到了sift特征匹配中需要计算出两个图片平面间的单应性矩阵，该单应性矩阵将一副图像中标记物上的点映射到另外一副图像中的对应点。如果图像中包含平面状的标记物体，并且对照相机进行了标定，那么我们可以计算出照相机的姿态，包括旋转和平移。我们以书本为例： 我们使用以下代码来提出两幅图像的SIFT特征，然后用RANSAC算法稳健地估计单应性矩阵： 二、增强现实 ...
ARAndroidDemo
08-19
AR 高通 Vuforia 最简单实例，已经带测试图片
第四章 照相机模型与增强现实
weixin_65337084的博客
08-21 686
计算机视觉学习笔记
相机模型
weixin_38651019的博客
09-16 171
相机模型 针孔相机模型：焦距（fx, fy)、偏移（cx, cy)、径向畸变（k1, k2, k3）、切向畸变（p1, p2）。 双目相机模型：视差。 深度相机模型： 非线性畸变 径向畸变：桶形畸变、枕形畸变；广角镜头、长焦镜头 ...
四、【python计算机视觉编程】照相机模型与增强现实
Liaojiajia-Blog
06-15 3900
照相机模型与增强现实（一）针孔照相机模型（1）照相机矩阵（2）三维点的投影（3）照相机矩阵的分解（4）计算照相机中心（二）照相机标定（三）以平面和标记物进行姿态估计（四）增强现实（1）PyGame和PyOpenGL（2）从照相机矩阵到OpenGL格式（3）在图像中放置虚拟物体（4）综合集成（5）载入模型 （一）针孔照相机模型 （1）照相机矩阵 （2）三维点的投影 （3）照相机矩阵的分解 （4）计算...
Python计算机视觉编程第四章——照相机模型与增强现实
Dujing2019的博客
06-18 2512
Python计算机视觉编程照相机模型与增强现实（一）针孔照相机模型1.1 照相机矩阵1.2 三维点的投影1.3 照相机矩阵的分解1.4 计算照相机中心（二）照相机标定（三）以平面和标记物进行姿态估计（四）增强现实4.1PyGame 和 PyOpenGL4.2 从照相机矩阵到 OpenGL 格式4.3 在图像中放置虚拟物体4.4 综合集成4.5 载入模型 照相机模型与增强现实 本章中，我们将尝试对照...
第四章：照相机模型与增强实现
最新发布
KeepSilent的博客
09-04 419
假设我们已经获得了标定好的照相机，即已知标定矩阵 K，下面的函数可以将照相机参数转换为 OpenGL 中的投影矩阵。给定照相机投影矩阵 P，我们可以计算出空间上照相机的所在位置。照相机的中心C，是一个三维点，满足约束 PC=0。**纵横比例参数 α **是在像素元素非正方形的情况下使用的。为了研究照相机的移动会如何改变投影的效果，使用下面的代码。大多数参数可以使用基本的假设来设定（正方形垂直的像素，光心位于图像中心），比较难处理的是。创建一个test的Window，绘制茶壶，如上所示。
Python计算机视觉编程——第4章 照相机模型与增强现实
fjyalzl的博客
08-13 1026
针孔照相机模型（有时称为射影照相机模型）是计算机视觉中广泛使用的照相机模型。对于大多数应用来说，针孔照相机模型简单，并且具有足够的精准度。这个名字来源于一种类似暗箱机的照相机。该照相机从一个小孔采集射到暗箱内部的光线。在光线投影到图像平面之前，从唯一一个点经过，也就是照相机中心C。由图像坐标轴和三维坐标系中的x轴和y轴对齐平行的假设，我们可以得出针孔照相机的投影性质。照相机的光学坐标轴和z轴一致，该投影几何一颗简化成相似三角形。在投影之前通过旋转和平移变换，对该坐标系加入三维点，会出现完整的投影变换。...
ARCore⭐二、从零到放置物体
星河造梦坊
03-26 1941
感谢yolon3000大神关于ARCore的详细介绍，本文已获转载权限！ 本文目标：实现ARCore从零到放置物体。
Python AR实战：OpenCV驱动的增强现实编程教程
本章节专注于"AI Python编程学习课件-第10章Python增强现实编程实践"，主要讲解如何利用Python这一强大的编程语言探索和实现增强现实（AR）技术。AR是一种将数字信息与现实世界相结合的技术，它扩展了我们的感知，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值