基于PyOpenGL和Pygame的增强现实的实现及代码

最新推荐文章于 2024-05-01 20:29:08 发布
最新推荐文章于 2024-05-01 20:29:08 发布
阅读量1.9k 收藏 14
点赞数
文章标签： 计算机视觉 AR OpenCV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43842653/article/details/89071046
版权

基于PyOpenGL和Pygame的增强现实实现

环境配置：

  1. 首先我们要先安装pygame和PyopenGL
    pygame 可以直接在运行中里 pip install pygame 直接安装
    pyopenGL的话如果用语句pip install opengl是默认安装的是32位系统的，如果电脑为64位的可以到https://www.lfd.uci.edu/~gohlke/pythonlibs/#pyopengl
    ctrl+F搜索PyOpenGL，选择适应自己python版本的64位下载
    在这里插入图片描述
    我的python版本是3.5.2的，下载完后在运行里输入语句 pip install PyOpenGL-3.1.3b2-cp35-cp35m-win_amd64.whl下载在这里插入图片描述

安装完成后就可以开始测试了。
用的代码基本都为<python计算机视觉>书上的代码，基本只要改个图片路径就可以运行了。

简单的增强现实静态实现

简单立方体实现：

from pylab import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, camera
from PCV.localdescriptors import sift

"""
This is the augmented reality and pose estimation cube example from Section 4.3.
"""


def cube_points(c, wid):
    """ Creates a list of points for plotting
        a cube with plot. (the first 5 points are
        the bottom square, some sides repeated). """
    p = []
    # bottom
    p.append([c[0]-wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]-wid, c[2]-wid]) #same as first to close plot
    
    # top
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]-wid, c[2]+wid]) #same as first to close plot
    
    # vertical sides
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    
    return array(p).T


def my_calibration(sz):
    """
    Calibration function for the camera (iPhone4) used in this example.
    """
    row, col = sz
    fx = 2555*col/2592
    fy = 2586*row/1936
    K = diag([fx, fy, 1])
    K[0, 2] = 0.5*col
    K[1, 2] = 0.5*row
    return K



# compute features
sift.process_image('book1.jpg', 'im0.sift')
l0, d0 = sift.read_features_from_file('im0.sift')

sift.process_image('book2.jpg', 'im1.sift')
l1, d1 = sift.read_features_from_file('im1.sift')


# match features and estimate homography
matches = sift.match_twosided(d0, d1)
ndx = matches.nonzero()[0]
fp = homography.make_homog(l0[ndx, :2].T)
ndx2 = [int(matches[i]) for i in ndx]
tp = homography.make_homog(l1[ndx2, :2].T)

model = homography.RansacModel()
H, inliers = homography.H_from_ransac(fp, tp, model)

# camera calibration
K = my_calibration((747, 1000))

# 3D points at plane z=0 with sides of length 0.2
box = cube_points([0, 0, 0.1], 0.1)

# project bottom square in first image
cam1 = camera.Camera(hstack((K, dot(K, array([[0], [0], [-1]])))))
# first points are the bottom square
box_cam1 = cam1.project(homography.make_homog(box[:, :5]))


# use H to transfer points to the second image
box_trans = homography.normalize(dot(H,box_cam1))

# compute second camera matrix from cam1 and H
cam2 = camera.Camera(dot(H, cam1.P))
A = dot(linalg.inv(K), cam2.P[:, :3])
A = array([A[:, 0], A[:, 1], cross(A[:, 0], A[:, 1])]).T
cam2.P[:, :3] = dot(K, A)

# project with the second camera
box_cam2 = cam2.project(homography.make_homog(box))



# plotting
im0 = array(Image.open('book1.jpg'))
im1 = array(Image.open('book2.jpg'))

figure()
imshow(im0)
plot(box_cam1[0, :], box_cam1[1, :], linewidth=3)
title('2D projection of bottom square')
axis('off')

figure()
imshow(im1)
plot(box_trans[0, :], box_trans[1, :], linewidth=3)
title('2D projection transfered with H')
axis('off')

figure()
imshow(im1)
plot(box_cam2[0, :], box_cam2[1, :], linewidth=3)
title('3D points projected in second image')
axis('off')

show()

效果图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

茶壶模型实现：

import math
import pickle
from pylab import *
from OpenGL.GL import * 
from OpenGL.GLU import * 
from OpenGL.GLUT import * 
import pygame, pygame.image 
from pygame.locals import *
from PCV.geometry import homography, camera
from PCV.localdescriptors import sift

def cube_points(c, wid):
    p = []
    # bottom
    p.append([c[0]-wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    p.append([c[0]-wid, c[1]-wid, c[2]-wid]) #same as first to close plot
    
    # top
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]-wid, c[2]+wid]) #same as first to close plot
    
    # vertical sides
    p.append([c[0]-wid, c[1]-wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]+wid])
    p.append([c[0]-wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]-wid])
    p.append([c[0]+wid, c[1]+wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]+wid])
    p.append([c[0]+wid, c[1]-wid, c[2]-wid])
    
    return array(p).T
    
def my_calibration(sz):
    row, col = sz
    fx = 2555*col/2592
    fy = 2586*row/1936
    K = diag([fx, fy, 1])
    K[0, 2] = 0.5*col
    K[1, 2] = 0.5*row
    return K

def set_projection_from_camera(K): 
	glMatrixMode(GL_PROJECTION) 
	glLoadIdentity()
	fx = K[0,0] 
	fy = K[1,1] 
	fovy = 2*math.atan(0.5*height/fy)*180/math.pi 
	aspect = (width*fy)/(height*fx)
	near = 0.1 
	far = 100.0
	gluPerspective(fovy,aspect,near,far) 
	glViewport(0,0,width,height)

def set_modelview_from_camera(Rt): 
	glMatrixMode(GL_MODELVIEW) 
	glLoadIdentity()
	Rx = np.array([[1,0,0],[0,0,-1],[0,1,0]])
	R = Rt[:,:3] 
	U,S,V = np.linalg.svd(R) 
	R = np.dot(U,V) 
	R[0,:] = -R[0,:]
	t = Rt[:,3]
	M = np.eye(4) 
	M[:3,:3] = np.dot(R,Rx) 
	M[:3,3] = t
	M = M.T
	m = M.flatten()
	glLoadMatrixf(m)

def draw_background(imname):
	bg_image = pygame.image.load(imname).convert() 
	bg_data = pygame.image.tostring(bg_image,"RGBX",1)
	glMatrixMode(GL_MODELVIEW) 
	glLoadIdentity()

	glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT)
	glEnable(GL_TEXTURE_2D) 
	glBindTexture(GL_TEXTURE_2D,glGenTextures(1)) 
	glTexImage2D(GL_TEXTURE_2D,0,GL_RGBA,width,height,0,GL_RGBA,GL_UNSIGNED_BYTE,bg_data) 
	glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MAG_FILTER,GL_NEAREST) 
	glTexParameterf(GL_TEXTURE_2D,GL_TEXTURE_MIN_FILTER,GL_NEAREST)
	glBegin(GL_QUADS) 
	glTexCoord2f(0.0,0.0); glVertex3f(-1.0,-1.0,-1.0) 
	glTexCoord2f(1.0,0.0); glVertex3f( 1.0,-1.0,-1.0) 
	glTexCoord2f(1.0,1.0); glVertex3f( 1.0, 1.0,-1.0) 
	glTexCoord2f(0.0,1.0); glVertex3f(-1.0, 1.0,-1.0) 
	glEnd()
	glDeleteTextures(1)


def draw_teapot(size):
	glEnable(GL_LIGHTING) 
	glEnable(GL_LIGHT0) 
	glEnable(GL_DEPTH_TEST) 
	glClear(GL_DEPTH_BUFFER_BIT)
	glMaterialfv(GL_FRONT,GL_AMBIENT,[0,0,0,0]) 
	glMaterialfv(GL_FRONT,GL_DIFFUSE,[0.5,0.0,0.0,0.0]) 
	glMaterialfv(GL_FRONT,GL_SPECULAR,[0.7,0.6,0.6,0.0]) 
	glMaterialf(GL_FRONT,GL_SHININESS,0.25*128.0) 
	glutSolidTeapot(size)

width,height = 1000,747
def setup():
	pygame.init() 
	pygame.display.set_mode((width,height),OPENGL | DOUBLEBUF) 
	pygame.display.set_caption("OpenGL AR demo")    

# compute features
sift.process_image('book_frontal.JPG', 'im0.sift')
l0, d0 = sift.read_features_from_file('im0.sift')

sift.process_image('book_perspective.JPG', 'im1.sift')
l1, d1 = sift.read_features_from_file('im1.sift')

# match features and estimate homography
matches = sift.match_twosided(d0, d1)
ndx = matches.nonzero()[0]
fp = homography.make_homog(l0[ndx, :2].T)
ndx2 = [int(matches[i]) for i in ndx]
tp = homography.make_homog(l1[ndx2, :2].T)

model = homography.RansacModel()
H, inliers = homography.H_from_ransac(fp, tp, model)

K = my_calibration((747, 1000))
cam1 = camera.Camera(hstack((K, dot(K, array([[0], [0], [-1]])))))
box = cube_points([0, 0, 0.1], 0.1)
box_cam1 = cam1.project(homography.make_homog(box[:, :5]))
box_trans = homography.normalize(dot(H,box_cam1))
cam2 = camera.Camera(dot(H, cam1.P))
A = dot(linalg.inv(K), cam2.P[:, :3])
A = array([A[:, 0], A[:, 1], cross(A[:, 0], A[:, 1])]).T
cam2.P[:, :3] = dot(K, A)

Rt=dot(linalg.inv(K),cam2.P)
 
setup() 
draw_background("book_perspective.bmp") 
set_projection_from_camera(K) 
set_modelview_from_camera(Rt)
draw_teapot(0.05)

pygame.display.flip()
while True: 
	for event in pygame.event.get():
		if event.type==pygame.QUIT:
			sys.exit()

书上图片的效果图：
在这里插入图片描述
我自己拍的图片的效果图：在这里插入图片描述

代码调试：

  1. 若遇到错误：freeglut ERROR: Function called without first calling ‘glutInit’.是因为freeglut把原来glut库中的很多函数都重写了

解决方法：
打开电脑里安装的python文件夹里的Lib\site-packages\OpenGL\DLLS
（如果是anaconda安装的python就打开Anaconda3\Lib\site-packages\OpenGL\DLLS）

将里面的freeglut64.vc14.dll删除即可
在这里插入图片描述

  1. 若问题出现sift not found则是sift文件还没有调好
    出现only integers, slices (:), ellipsis (...), numpy.newaxis (None) and integer or boolean arrays are valid indices在这里插入图片描述

只需要在sift文件里加一个强制转换就行了
在这里插入图片描述
其他sift出现的问题可以到我前一篇关于sift算法的博客去看看。

增强现实的视频动态实现

我的增强现实的视频动态是基于电脑摄像头直接实现，具体实现代码可参考链接

实现代码： https://download.csdn.net/download/weixin_43842653/11094470

摄像头动态实现效果：
在这里插入图片描述
在这里插入图片描述
效果还凑合哈。

CancerWu
关注
  • 0
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
基于openGL、pygame增强现实的视频实现代码
04-07
AR、增强现实的视频实现的完整代码，用电脑摄像头直接实现。亲测可用
python计算机视觉学习———照相机模型与增强现实
qimingxia的博客
07-07 1633
文章目录4.1针孔照相机模型4.1.1 照相机矩阵4.1.2三维点的投影 4.1针孔照相机模型 针孔照相机模型（有时称为射影照相机模型）是计算机视觉中广泛使用的照相机模 型。对于大多数应用来说，针孔照相机模型简单，并且具有足够的精确度。这个名 字来源于一种类似暗箱机的照相机。该照相机从一个小孔采集射到暗箱内部的光线。 在针孔照相机模型中，在光线投影到图像平面之前，从唯一一个点经过，也就是 照相机中...
C++高级编程（88）虚拟现实(VR)与增强现实(AR)开发
最新发布
m0_51768024的博客
05-01 391
虚拟现实是一种通过计算机技术创造的模拟环境，它使用户能够沉浸在一个完全虚构的世界中。VR通常需要特殊的硬件设备，如头戴显示器（HMD）和运动控制器。增强现实则是在现实世界中叠加虚拟信息，它允许用户看到周围的真实世界，同时在视觉上增加额外的计算机生成的图像。AR可以通过智能手机、平板电脑或特殊的AR眼镜体验。通过本篇博客的学习，我们应该能够理解C++在VR和AR开发中的应用以及如何利用C++的优势来创建高性能的VR和AR应用。随着技术的不断进步，VR和AR领域将持续发展和创新，为我们提供更多的可能性。
计算机视觉编程——增强现实基础
Flamingo的博客
08-10 554
文章目录增强现实1 PyGame和PyOpenGL2 从照相机矩阵到OpenGL格式3 在图像中放置虚拟物体4 综合集成 增强现实 增强现实是将物体和相应信息放置在图像数据上的一系列操作的总称。 1 PyGame和PyOpenGL PyGame是非常流行的游戏开发工具包，可以简单地处理显示窗口、输入设备、事件，以及其他内容。 PyOpenGL是OpenGL图形编程的Python绑定接口，可以安装在几乎所有的系统上并且具有很好的图形性能。 我们使用OpenGL将一个三维模型放置在一个场景中。为了使用PyGam
计算机视觉（五）——增强现实的初步尝试（Python实现）
Did I Miss It？的博客
04-06 1202
增强现实（AR）是一种对摄像机拍摄的影像的基础上添加图像的技术。因为是初次的尝试，就先使用图像来实现添加图像的技术。 1.以平面和标记物进行姿态估计 先从简单的实现做起。平面和标记物姿态估计可以通过图像已标记的物体，和已经标定的照相机来计算得出相机拍摄时候的姿态（相机的位移和旋转变换） 这种方法的思路如下。我们有两张不同角度拍摄的图像。首先，通过sift特征提取，RANSAC算法得到估计的单应性矩...
Python实现游戏虚拟现实与增强现实
吃不胖.
09-24 1068
虚拟现实和增强现实游戏的开发需要使用特定的游戏引擎，Python可以通过Pygame、Ren'Py、Panda3D等游戏引擎实现虚拟现实和增强现实游戏的开发。通过调用VR/AR引擎、SDK、开发工具和Python库，我们可以快速构建VR/AR游戏开发环境，并实现游戏内容。Python提供了丰富的第三方库，如NumPy、SciPy、Pillow、OpenCV等，这些库可以帮助开发者实现VR/AR游戏中的各种功能，如图像处理、物理引擎、虚拟现实设备控制等。AR技术可以在游戏、广告、教育等领域中得到广泛的应用。
Python-opengl-notes:关于pyopengl和pygame的注意事项
05-19
python-opengl-notes 关于pyopengl和pygame的注意事项
Python环境下安装PyGame和PyOpenGL的方法
09-17
主要介绍了Python环境下安装PyGame和PyOpenGL的方法，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
python+pygame简单画板实现代码实例
12-24
pygame其实就是SDL的python绑定，SDL又是基于OpenGL，所以也有人用pygame+pyOpenGL做3D演示什么的。真的要写游戏的话pygame的封装比较底层，不太够用，很多东西都要自己实现（当然自由度也高）。文档也不太好，好在...
Python计算机视觉-第4章
Bonaventure的博客
12-01 1532
本章中，我们将尝试对照相机进行建模，并有效地使用这些模型。在之前的章节里， 我们已经讲述了图像到图像之间的映射和变换。为了处理三维图像和平面图像之间 的映射，我们需要在映射中加入部分照相机产生图像过程的投影特性。本章中我们 将会讲述如何确定照相机的参数，以及在具体应用中，如增强现实，如何使用图像 间的投影变换。下一章中，我们将使用照相机模型处理其他一些应用，比如多视图 及其映射。 1、针孔相机模型 （1）照相机矩阵 针孔照相机模型(有时称为射影照相机模型)是计算机视觉中广泛使用的照相机模 型。如下图所
Python+OpenGL实现增强现实
weixin_40359677的博客
04-06 2817
一、实现增强现实 1、什么是增强现实？ 增强现实(Augmented Reality，简称AR)。 增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物...
增强现实（AR）学习的参考代码
10-17
适合初学的人。包含两个代码，一个独立整合起来的，注释比较清楚。另一个参照深入理解OpenCV书中第三章的代码，添加读取OBJ模型的环节，没有纹理。作为刚入手的可以参考一下，并贴一个博客地址配置环境和理解代码：http://www.cnblogs.com/Alip/p/7026512.html
python照相机标定、在图像中放置虚拟物体、PyGame和PyOpenGL
weixin_42653918的博客
04-07 1006
一、照相机标定 标定照相机是指计算出该照相机的内参数，在我们的例子中，是指计算矩阵K，如果你的应用要求高精度，那么可以扩展照相机模型，使其包含径向畸变和其他条件。对于大多数应用来说，简单的照相机模型已经足够。标定照相机的标准方法是，拍摄多幅平面棋盘模式的图像，然后进行处理计算。 照相机的测量值写入辅助函数中，图像大小为：2592*1936像素： def my_calibration(sz): ...
Python计算机视觉编程（六）增强现实
stroll
04-07 1725
增强现实静态在图像中投影并描绘3D模型相机投影模型针孔相机模型内参数外参数相机标定原理——张正友标定相机标定解决办法封闭解最大似然估计径向畸变的处理从OpenCV到OpenGL代码动态代码实现 静态 增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。 ...
【计算机视觉】照相机模型与增强现实
小丸子的博客
04-07 470
1、照相机标定 标定照相机是指计算出该照相机的内参数。 def my_calibration(sz): """ Calibration function for the camera (iPhone4) used in this example. """ row, col = sz fx = 2555*col/2592 fy = 2586*ro...
python_pyopengl,pygame
布莱克洛
05-19 789
pyopengl:http://sourceforge.net/projects/pyopengl/ glut问题解决:http://stackoverflow.com/questions/10188595/pyopengl-typeerror-nonetype-object-is-not-callable pygame:http://www.pygame.org/           sud
Python环境下安装PyGame和PyOpenGL
ziyi_mi的博客
03-24 1018
在进行增强现实的时候我们需要用到两个工具包：PyGame 和 PyOpenGL，本章在python环境下对这两个工具包的安装进行说明。 一、安装PyGame PyGame 是非常流行的游戏开发工具包，它可以非常简单地处理显示窗口、输入设备、事件，以及其他内容。其下载安装过程如下： 1. 进入python官网点击PyPI 2. 输入pygame 3 点进去找到下面的 Download fil...
基于pyopengl和pygame的增强现实
01-07
基于pyopengl和pygame的增强现实是一种结合计算机图形学和虚拟现实技术的应用。PyOpenGL是Python语言的OpenGL绑定库，用于开发和控制图形渲染，而Pygame是Python语言的游戏开发库，可以实现窗口显示、事件处理等功能...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值