opencv SGBM 练习总结

最新推荐文章于 2024-03-28 09:02:49 发布

weixin_39266208

最新推荐文章于 2024-03-28 09:02:49 发布

阅读量3.9k

点赞数

分类专栏： opencv 文章标签： opencv 计算机视觉人工智能

本文链接：https://blog.csdn.net/weixin_39266208/article/details/121319790

版权

本文总结了使用OpenCV的SGBM算法进行立体匹配的经验。通过调整官方示例代码中的参数，特别是在处理大面积无纹理区域时，可以显著提高匹配效果。关键步骤包括相机标定、图像校正、视差计算和点云重建。注意SGBM的视差范围应为16的整数倍，并且小于最小视差的部分视为无效。对于点云的可视化，推荐使用meshlab或pcl。

摘要由CSDN通过智能技术生成

最重要

一直以为opencv实现的SGBM的结果超级差，实际上是因为墙等大面积无纹理区域造成的。按照官方示例代码中的stereo_match.cpp里面的参数配置，就可以取得很好的效果，如果杂乱点多，适当增加uniquenessRatio和 speckleWindowSize。
后者过滤小的区域。

下面是以前写的

标定，得到相机内参矩阵，或直接读取以前保留的标定结果，标定过程见https://blog.csdn.net/weixin_39266208/article/details/120955007
利用VideoCapture打开双目摄像头，读取并分割成左右两张图像。
通过stereoRectify initUndistortRectifyMap remap 得到校正后的图像，两张图像在同一坐标平面，y对齐。
StereoSGBM_create(python) + compute得到视差。
然后通过reprojectImageTo3D映射到点云，需要注意SGBM算法生成的视差要/16.0，根据文档，整数中有4位代表小数部分。
利用官方示例文件提供的write_ply函数写到点云文件，ply格式。带有rgb信息，深度信息是和左侧的图相对应的，使用左侧图生成颜色。
通过meshlab软件或者pcl来可视化点云，有时显示不出来。使用pcl显示总能显示出来。pcl显示点云的代码见最后面。
SGBM得到的视差如果比最小视差小，则为无效。
SGBM的视差范围要是16的整数倍。
opencv的结果左侧会有一部分无法识别，是因为代码里跳过去了。

下面的代码是试验参数和效果的时候的代码，胡乱写的，参考了官方的示例。在相机标定程序后面添加这部分代码，官方的python示例程序不带相机内参。

ply_header = '''ply
format ascii 1.0
element vertex %(vert_num)d
property float x
property float y
property float z
property uchar red
property uchar green
property uchar blue
end_header
'''
# 官方代码的sample下面的python示例程序中的写ply文件的代码
def write_ply(fn, verts, colors):
    verts = verts.reshape(-1, 3) / 1000.
    colors = colors.reshape(-1, 3)
    verts = np.hstack([verts, colors])
    with open(fn, 'wb') as f:
        f.write((ply_header % dict(vert_num=len(verts))).encode('utf-8'))
        np.savetxt(f, verts, fmt='%f %f %f %d %d %d ')


cap = cv2.VideoCapture(2)
# 这个摄像头 设置宽高，帧率会自动跟着变
cap.set(cv2.CAP_PROP_FRAME_WIDTH,2560)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 960)

fcc = cv2.VideoWriter_fourcc('M','J','P','G')
#cap.set(cv2.CAP_PROP_FOURCC, fcc)

while cap.isOpened():
    ret, frame = cap.read()