照相机模型与现实增强

照相机模型与现实增强

(该实验参书籍：Python计算机视觉编程 第四章)

（代码为书上源码）

该实验的整合版代码在该网址下（只需在test.py中选择自己想要运行的功能即可）：
https://download.csdn.net/download/titansm/11092782

1.运行增强现实相关代码是遇到的问题

问题1：OpenGL.error.NullFunctionError: Attempt to call an undefined function glutInitDisplayMode…

该问题的主要原因是我们的机器大部分都是64位的，但是通过pip install opengl 安装的版本默认为32位的

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pyopengl

可以在该地址里下载opengl的安装包（在网页的下面，要下拉挺久的）

下载64位的版本，然后通过 pip install PyOpenGl-3.1.3b2-cp27m-win_amd64.whl 来安装opengl

问题2：freeglut ERROR: Function called without first calling ‘glutInit’.

这个错误是freeglut和glut共存的缘故，它们俩定义了相同的方法，这个是动态链接库的重叠问题，将Anaconda2\Lib\site-packages\OpenGL\DLLS文件夹里面的freeglut64.vc9.dll删掉就行了。

应该只有这些问题。。

2.在视频实现现实增强

要在视频上实现现实增强我们需要先用摄像头采集一段视频，还有用同一个摄像头拍三张照片

照片如下：

1.用来测定照相机标定矩阵的图片

2.实现现实增强时使用的图片（两张）

第一张图片是我将书贴在墙上然后找了个较长的桌子拍成的（如下）

因为我们测定标定矩阵的时候需要拍照物品的边长dX和dY(也就是书的宽和长)；

然后镜头和物体要平行，在测量照相机到物体的镜头的距离dZ；

最后还需要用像素测量标定物体图像的宽度和高度（dx和dy）

前两个可以用尺子直接测量出来，后一个可以用Windows自带的画图工具，然后打开图片

1.选择裁剪功能；

2.把标定的物体截出来（尽量按边截，上图有点截太大了）

3.下面的第一个像素就是 标定物体的宽度和高度

我测量好之后我得到的数据分别是：

dX=179mm，dY=233mm，dZ=827mm，dx=164，dy=212

然后用公式
$$fx=dx/dX\ast dZ$$

$$fy=dy/dY\ast dZ$$

即可获得焦距的大小，我的焦距的大小为：

​ fx=758

​ fy=752

然后将原代码中的函数 my_calibration(sz) 中的对应的位置替换成自己的（如下图，其中3为我们图像的分辨率，我的为 640*480）

下面为我的模板：

def my_calibration(sz):
    row, col = sz
    fx = 758*col/640
    fy = 752*row/480
    K = diag([fx, fy, 1])
    K[0, 2] = 0.5*col
    K[1, 2] = 0.5*row
    return K

设置完相机的标定矩阵函数后，就可以开始进行我们的实验了

3.开始实验

1.用摄像头获取视频（如果是用手机拍摄的话可以跳过，建议不要录太长的视频）

用摄像头获取视频时使用的时Opencv，所以如果没装过可能要先安装一下

直接输入命令：

pip install opencv-python

安装即可。

下面为生成视频代码：

#-*- coding=utf-8 -*-
import cv2
import numpy as np

#0为默认摄像头的编号
cap = cv2.VideoCapture(0)

sz = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)),
        int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))

fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')

out = cv2.VideoWriter('output.avi', fourcc,30,sz) # 第三个参数则是镜头快慢的（即为帧数）
print "OK!!!!!!"
while True:
    ret,frame = cap.read()
    if ret == True:
        frame = cv2.flip(frame, 1)
        a = out.write(frame)
        cv2.imshow("frame", frame)
        cv2.imwrite("test/test3.jpg", frame) #这句代码用来将录像的最后一帧保存为图片，这样就能照相了
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()

用该代码调用摄像头就会在当前目录下生成视频 ”output.avi“；

还会将视频中的最后一帧保存为 .jpg图片。

由于是用摄像头，所以之前用来测标定矩阵的图片也必须是用同一个摄像头拍摄的，这样就可以用摄像头来拍照了。

2.对生成的视频进行sift特征处理

这里我是先对视频进行处理，将每一帧的图片提取并保存为.jpg和.bmp的图片，生成之后还会一起把sift特征处理好。（之前说视频建议不要太长就是因为这个可能会处理很久，当然也可以中途停下来）