paper:GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose
首先rigid flow等于源帧s的像素点坐标减目标帧像素坐标(source image - target image)
那么,如何在已知target image的像素坐标时求rigid flow?
通过DepthNet,PoseNet预测出相应的深度D,内参K以及位姿信息T,计算source image的像素坐标Ps:
紫色部分代表将target image的像素坐标投影到世界坐标系(2D—>3D),从3D投影到2D平面丢弃了深度信息,所以从2D到3D在此要乘上深度信息D
蓝色部分:将target image location转换到source image location,所以在紫色部分左乘位姿T
绿色部分:将source image的世界坐标转换为像素坐标(3D—>2D)
最后rigid flow = Ps - Pt