全景图拼接和视频行人检测(Python + opencv)

3. 根据关键点特征和描述符, 对两张图像进行匹配, 得到若干匹配点对, 并移除错误匹配
    
    4. 使用Ransac算法和匹配的特征来估计单应矩阵(homography matrix)
    
    5. 通过单应矩阵来对图像进行仿射变换
    
    6. 两图像拼接,重叠部分融合
    
    7. 裁剪以获得美观的最终图像
    
    本次实验通过拍摄多组不同的图片来实现图像的拼接.

# 参考自https://cloud.tencent.com/developer/article/2214756 并作修改
import numpy as np
import cv2
import imutils
from imutils import paths

images = 'image'    # 输入图像路径
output = 'res/mix.png'  # 输出图像
crop = True
# 使用imutils.path.list_images获取输入图像路径中所有图像的路径并排序
imagePaths = sorted(list(paths.list_images(images)))
images = []

# 读取图像
for imagePath in imagePaths:
    image = cv2.imread(imagePath)
    images.append(image)

# 创建图像缝合器
stitcher = cv2.Stitcher_create()
(status, stitched) = stitcher.stitch(images)

# status 代表拼接状态，成功时status为0
if status == 0:
    # 进入裁剪图像
    if crop:
        # 在拼图周围添加2像素
        stitched = cv2.copyMakeBorder(stitched, 2, 2, 2, 2,
                                      cv2.BORDER_CONSTANT, (0, 0, 0))
        # 图像灰度化处理
        gray = cv2.cvtColor(stitched, cv2.COLOR_BGR2GRAY)
        thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY)[1]

        # 查找阈值图像的轮廓
        cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
                                cv2.CHAIN_APPROX_SIMPLE)
        cnts = imutils.grab_contours(cnts)
        c = max(cnts, key=cv2.contourArea)

        # 绘制该轮廓下最大的矩形
        mask = np.zeros(thresh.shape, dtype="uint8")
        (x, y, w, h) = cv2.boundingRect(c)
        cv2.rectangle(mask, (x, y), (x + w, y + h), 255, -1)

        # 创建两个遮罩
        # minRect作为不断腐蚀的矩形
        # sub作为阈值图像和minRect的插值来进行判断
        # 利用掩码和腐蚀操作来裁剪图像，以得到最小的外接矩形
        minRect = mask.copy()
        sub = mask.copy()

        while cv2.countNonZero(sub) > 0:
            minRect = cv2.erode(minRect, None)
            sub = cv2.subtract(minRect, thresh)

        # 得到最小矩形，提取其范围坐标
        cnts = cv2.findContours(minRect.copy(), cv2.RETR_EXTERNAL,
                                cv2.CHAIN_APPROX_SIMPLE)
        cnts = imutils.grab_contours(cnts)
        c = max(cnts, key=cv2.contourArea)
        (x, y, w, h) = cv2.boundingRect(c)

        # 使用该范围坐标对原图进行裁剪
        stitched = stitched[y: y + h, x: x + w]
    # 保存处理后的照片
    cv2.imwrite(output, stitched)

else:
    print("error with code:{}".format(status))

这里拼接的结果如下图

这里获得的图像为拼接后的公共部分，拼接效果并不明显。

以下实验用例来自https://github.com/samggggflynn/image-stitching-opencv

视频行人检测

HoG是一种基于图像梯度的特征提取方法，被广泛应用于计算机视觉和机器学习领域。HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，是与SIFT、SURF、ORB属于同一类型的描述符。HOG不是基于颜色值而是基于梯度来计算直方图的，它通过计算和统计图像局部区域的梯度方向直方图来构建特征。
    
    算法将图像分为很多很小的连通区域(cell)，采集cell中各像素点的梯度大小和方向，然后在每个cell中通过某种方式绘制一个一维的梯度方向直方图，并对直方图进行对比度归一化。使用SVM分类器进行行人检测。

# 代码结合了以下的代码
# https://blog.csdn.net/m0_75114882/article/details/134405127?spm=1001.2014.3001.5502
# https://zhuanlan.zhihu.com/p/651533995
import cv2

# 检测矩形框是否会重叠或包含
def is_inside(o, i):
    ox, oy, ow, oh = o
    ix, iy, iw, ih = i
    return (ox > ix and oy > iy
            and ox + ow < ix + iw
            and oy + oh < iy + ih)


# 输入视频
input_video_path = 'video/people.mp4'
# 输出视频
output_video_path = 'person_detect.mp4'
# 帧图像计数器
cnt = 1
# 读取视频
cap = cv2.VideoCapture(input_video_path)
# 获取视频帧率
fps = cap.get(cv2.CAP_PROP_FPS)
# 获取视频尺寸信息
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# 定义视频编码方式为MPEG-4
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
# 创建VideoWriter对象,将行人检测的帧序列写入视频文件中
out = cv2.VideoWriter(output_video_path, fourcc, fps, (width, height))

while True:
    # 不断读取视频并捕获帧图像, 保存在frame, 当成功读取帧后, ret将会被赋值为True, 否则为False
    ret, frame = cap.read()
    if not ret:
        break
    # 将当前帧图像转换为灰度图像
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # 使用默认的HOG特征描述符
    hog = cv2.HOGDescriptor()
    # 获取行人检测分类器的系数
    detector = cv2.HOGDescriptor_getDefaultPeopleDetector()
    # 使用默认行人分类器
    hog.setSVMDetector(detector)
    # 使用detectMultiScale检测帧图像中的行人并返回相关信息
    found, weight = hog.detectMultiScale(gray, scale=1.02)
    found_filtered = []
    # 判断检测到的行人框是否有重叠或者包含关系
    for ri, r in enumerate(found):
        for qi, q in enumerate(found):
            if ri != qi and is_inside(r, q):
                break
            else:
                found_filtered.append(r)

    # 将检测框写入帧图像中, 绘制检测框和行人中心点
    for person in found_filtered:
        x, y, w, h = person
**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

![img](https://img-blog.csdnimg.cn/img_convert/e63944053bc66fdd23eca22a3fd3f227.png)

 

![img](https://img-blog.csdnimg.cn/img_convert/f38627bd40e14207b901aaabfd8752c8.png)

![img](https://img-blog.csdnimg.cn/img_convert/46506ae54be168b93cf63939786134ca.png)

![img](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)

![img](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

![img](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)

 

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）**

df79.png)

 

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）**

<img src="https://img-community.csdnimg.cn/images/fd6ebf0d450a4dbea7428752dc7ffd34.jpg" alt="img" style="zoom:50%;" />