对齐Meshflow相关

• 刘帅成 - 讲座介绍 ：文字描述，PPT截屏

• 讲座视频：硬件防抖难题从37分钟开始

• 关注DeepMeshflow工作，没有源码；退而求其次，关注该工作的上一个工作

  • 论文 ，代码

• 和Deepmeshflow相比，Content方法缺少对不同区域homo的估计（不能解决视差导致的对不准问题）

• 但是其实，对于很多问题（如相机运动估计）来说，一个全局的homo已经够了

输入数据

• 图像对的处理 org_imges -> 生成mask进行区域性关注
  • resize （640, 360）
  • mean / std：进行概率归一化 (img - mean) / std
    • BGR Mean：118.93, 113.97, 102.60
    • BGR Std：69.85, 68.81, 72.45
  • 计算BGR图像的通道均值：h w 3 -> h w 1
  • 维度切换 h w 1 -> 1 h w
  • 将图像对在第一个维度进行拼接，（1 h w）×2 -> 2 h w
  • DataLoader加载n个图像对（2 h w）-> n 2 h w（test中n=1）
• 图像的ROI区域裁剪 input_tensors, patch_indices
  • 在 640x360 图像区域中随机裁剪出 560x315 的patch进行训练
  • 实际 test网络的时候，选择图像的中心 560x315 大小区域进行计算（存疑，直接resize这个大小如何 TODO）
  • 将ROI坐标序列成一维列表，（y × width + x）
  • Output 裁剪patch按图像对的处理的结果（2×315×560） 以及 坐标列表
• 输出ROI的（lefttop，leftdown，righttop，rightdown）的（x，y）组成的一维列表 h4p
• 降输入数据tensor都取 .float()

数据输入（修改）

• 1 输入图像对 - 560x315
  • resize
  • 归一化
  • 通道均值
• 2 mask（560x315） ① 使用网络生成 ② 使用人像分割的背景 ③ 前两个相乘
• 3 输出H，并进行尺度变换