weixin_51154668的博客

RAFT-Stereo的realtime权重，由官方的pth模型转来。亲测可用。 RAFT-Stereo优势 ：早期的双目深度估计研究集中在特征匹配和正则化两个关键部分。在处理中，使用3D卷积神经网络计算代价体是主流方法，但代价较大，需要特殊方法才能操作高分辨率的图像。而光流问题则通常使用迭代精化的方法。光流和矫正立体镜头是紧密相关的问题，但两个任务的神经网络结构却有很大差异。RAFT-Stereo则是一种新的双视立体结构体系，利用了RAFT特有的3D体积和迭代细化法。RAFT-Stereo仅使用2D卷积和一个轻量级的成本体积，相比之前的立体网络，具有更好的泛化能力且不需要复杂的损失项。RAFT-Stereo在KITTI、ETH3D和Middlebury等真实数据集上表现非常出色，且具有更好的跨数据集泛化能力。模型为一种使用RAFT光流估计网络改进的双目立体匹配模型，通过多级卷积GRU模块传播全局信息。模型包括特征提取、相关性匹配代价体构建和多层级更新策略，实现了在不同尺度上优化视差估计，增强了对弱纹理区域的适应性。实验结果显示，该方法在立体匹配任务上取得了良好效果。