鱼眼全景矫正 Equirectangular Projection的两种方法 【补丁For 双鱼眼全景视频拼接】

原始鱼眼图:在这里插入图片描述

等距投影by FOV.
在这里插入图片描述

等距投影 by FOV and Angle
在这里插入图片描述

方法二将在不久并入到 基于双鱼眼的全景视频图像拼接CV算法实战
我们统一采用opencv remap来加速, 在初始状态建立好remap需要的x坐标对应图和y坐标对应图。只要宽高不变, 每次矫正不耗时。


```python
class CycleToRect(object):


    def __init__(self, warp_w=cfg.INPUT_WIDTH, warp_h=cfg.INPUT_HEIGHT, input_w=cfg.INPUT_WIDTH, input_h=cfg.INPUT_HEIGHT, fov=cfg.FOV):
        if not(isinstance(warp_w, int) and isinstance(warp_h, int)and isinstance(input_w, int) and isinstance(input_h, int) and isinstance(fov, int)):
            LOGGER_T.logger.error('Get CycleToRect class params failed!!!')
            raise ValueError("CycleToRect class,init params type is wrong!!!")
        self._xmap, self._ymap = _buildmap(warp_w, warp_h, input_w,input_h, fov)
        LOGGER_T.logger.info('CycleToRect class Init success and generate xmap,ymap!')

    def __call__(self, img):
        if self._xmap is None or self._ymap is None:
            LOGGER_T.logger.error('Get CycleToRect class xmap or ymap is None!!!')
            raise ValueError("CycleToRect class,xmap or ymap is None!!!")
        img_rst = cv2.remap(img, self._xmap, self._ymap, cv2.INTER_LINEAR)
        return img_rst

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
360度非鱼眼视频抽帧生成全景拼接是一个比较复杂的问题,需要涉及到视频处理、图像处理、几何变换、全景拼接等多个领域。这里我简单介绍一下大致的思路以及实现方法。 1. 首先需要从360度非鱼眼视频中抽取一些关键帧,一般可以采用视频关键帧提取算法来实现。关键帧提取算法可以根据帧间差异、运动模糊等因素来确定哪些帧是比较重要的,可以参考一些经典的算法如 SIFT、SURF、ORB 等。 2. 对于每一帧视频,需要做一些预处理操作,包括去除镜头畸变、对齐、裁剪等。针对去除镜头畸变,可以采用基于一些几何变换的方法,比如将原始视频图像投影到球面上,再将球面图像展开为平面图像,这样就可以去除鱼眼畸变。对于对齐和裁剪,可以采用图像特征匹配算法,找出每一帧图像中重要的特征点,并将这些特征点对齐,然后再进行裁剪。 3. 将每一帧图像拼接全景图。这里可以采用一些拼接算法,比如基于图像特征匹配的拼接算法、基于光流的拼接算法、基于直接图像拼接的算法等。其中最常用的是基于图像特征匹配的拼接算法,具体流程包括:首先找出每张图像中的关键点,并计算出每个关键点的特征描述子;然后对每两张相邻的图像进行特征匹配,找出匹配的关键点对;接着通过计算每个关键点对的变换矩阵,将相邻的图像进行对齐;最后将对齐后的图像进行融合即可。 这里给出一个基于 OpenCV 和 Python 的代码示例,实现了从一段 360 度非鱼眼视频中抽取关键帧、去除镜头畸变、对齐、裁剪和拼接的全流程。 ```python import cv2 import numpy as np from itertools import tee, izip # 视频文件路径 video_path = 'input_video.mp4' # 一些参数设置 keyframe_interval = 30 # 抽取的关键帧间隔 crop_width = 1280 # 裁剪后的图像宽度 crop_height = 720 # 裁剪后的图像高度 # 定义一个函数,用于将帧图像投影到球面上 def equirectangular_projection(frame, fov=90): h, w = frame.shape[:2] f = w / (2 * np.tan(fov * np.pi / 360)) K = np.array([[f, 0, w / 2], [0, f, h / 2], [0, 0, 1]]) theta = np.arccos((np.arange(h) - h / 2) / f) phi = np.arange(w) * 2 * np.pi / w phi, theta = np.meshgrid(phi, theta) x = np.sin(theta) * np.cos(phi) * f y = np.sin(theta) * np.sin(phi) * f z = np.cos(theta) * f X = np.stack([x, y, z], axis=-1) X = np.reshape(X, [-1, 3]).T X = np.vstack([X, np.ones([1, X.shape[1]])]) X = np.dot(np.linalg.inv(K), X) X = np.reshape(X[:-1, :], [h, w, 3]) X = cv2.remap(frame, X[..., 0].astype(np.float32), X[..., 1].astype(np.float32), cv2.INTER_LINEAR) return X # 定义一个函数,用于抽取关键帧 def keyframe_extraction(cap, interval): frames = [] count = 0 while True: ret, frame = cap.read() if not ret: break if count % interval == 0: frames.append(frame) count += 1 return frames # 定义一个函数,用于去除镜头畸变、对齐和裁剪 def preprocess_frame(frame): # 去除镜头畸变 frame = equirectangular_projection(frame) # 对齐 # TODO: 实现图像特征匹配算法对齐图像 # 裁剪 h, w = frame.shape[:2] x = int((w - crop_width) / 2) y = int((h - crop_height) / 2) frame = frame[y:y+crop_height, x:x+crop_width] return frame # 定义一个函数,用于将一组图像拼接全景图 def stitch_images(images): # TODO: 实现基于图像特征匹配的图像拼接算法 # 将图像拼接全景图 panorama = np.concatenate(images, axis=1) return panorama # 打开视频文件 cap = cv2.VideoCapture(video_path) # 抽取关键帧 frames = keyframe_extraction(cap, keyframe_interval) # 预处理每一帧图像 frames = [preprocess_frame(frame) for frame in frames] # 将一组图像拼接全景图 panorama = stitch_images(frames) # 显示全景图 cv2.imshow('Panorama', panorama) cv2.waitKey(0) # 释放资源 cap.release() cv2.destroyAllWindows() ``` 需要注意的是,这段代码中的关键帧提取、图像对齐、图像拼接等部分都需要根据具体场景进行改进和调整,只能作为一个大体的参考。另外,这段代码中的图像拼接算法采用的是简单的图像拼接方法,对于一些特殊场景可能会出现拼接不完整、拼接出错等问题,需要根据具体情况进行改进。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

热血小蚂蚁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值