monodepth2代码：inputs的结构

已于 2023-09-21 13:16:10 修改
阅读量254 收藏 5
点赞数
文章标签： 深度学习
于 2023-09-19 19:49:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011059143/article/details/133035877
版权

第一，input的初始化

inputs = {}

说明inputs表示的是一个空字典。

第二，添加原始图像

for i in self.frame_idxs:
    # 这里为什么是“other_side"，这是因为当是双目视图时，输入是[0, s]，0是主图，自然s是另外一边。
    if i == "s":
        other_side = {"r": "l", "l": "r"}[side]
        inputs[("color", i, -1)] = self.get_color(folder, frame_index, other_side, do_flip)
    else:
        inputs[("color", i, -1)] = self.get_color(folder, frame_index + i, side, do_flip)

这里面的self.frame_idxs有两种输入格式，一是[0, -1, 1]和[0, s]，分别表示单目视频和双目数据。此时，inputs的形式为

单目序列：
inputs:
{
    ("color", 0, -1):image,
    ("color", -1, -1):image,
    ("color", 1, -1):image,
}

双目数据：
inputs:
{
    ("color", 0, -1):image,
    ("color", s, -1):image,
}

第三，向inputs添加相机参数信息

for scale in range(self.num_scales):
    K = self.K.copy()

    K[0, :] *= self.width // (2 ** scale)
    K[1, :] *= self.height // (2 ** scale)

    inv_K = np.linalg.pinv(K)

    inputs[("K", scale)] = torch.from_numpy(K)
    inputs[("inv_K", scale)] = torch.from_numpy(inv_K

此时，inputs信息为

单目序列：
inputs:
{
图像：
    ("color", 0, -1):image,
    ("color", -1, -1):image,
    ("color", 1, -1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK
    .
    .

}

双目数据：
inputs:
{
图像：
    ("color", 0, -1):image,
    ("color", s, -1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK
    .
    .
    
}

第四，通过preprocess函数向inputs添加图像金字塔和图像扩张的信息

def preprocess(self, inputs, color_aug):
    """Resize color images to the required scales and augment if required

    We create the color_aug object in advance and apply the same augmentation to all
    images in this item. This ensures that all images input to the pose network receive the
    same augmentation.
    """
    for k in list(inputs):
        frame = inputs[k]
        if "color" in k:
            n, im, i = k
            for i in range(self.num_scales):
                inputs[(n, im, i)] = self.resize[i](inputs[(n, im, i - 1)])

    for k in list(inputs):
        f = inputs[k]
        if "color" in k:
            n, im, i = k
            inputs[(n, im, i)] = self.to_tensor(f)
            inputs[(n + "_aug", im, i)] = self.to_tensor(color_aug(f))

该函数中，第一个for循环首先获取图像金字塔，第二个for循环首先完成数据转换，然后完成数据扩张，此时，inputs的形式为：

单目序列：
inputs:
{
图像：
    ("color", 0, -1):image,
    ("color", -1, -1):image,
    ("color", 1, -1):image,

图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", -1, 0):image,
    ("color", 1, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", -1, 1):image,
    ("color", 1, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", -1, 0):image,
    ("color_aug", 1, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", -1, 1):image,
    ("color_aug", 1, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK
}

双目数据：
inputs:
{
图像：
    ("color", 0, -1):image,
    ("color", s, -1):image,

图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", s, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", s, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", s, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", s, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK
    
}

第五，删除原始图像

for i in self.frame_idxs:
    del inputs[("color", i, -1)]
    del inputs[("color_aug", i, -1)]

 此时，inputs形式为

单目序列：
inputs:
{
图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", -1, 0):image,
    ("color", 1, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", -1, 1):image,
    ("color", 1, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", -1, 0):image,
    ("color_aug", 1, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", -1, 1):image,
    ("color_aug", 1, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK
}

双目数据：
inputs:
{
图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", s, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", s, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", s, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", s, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK
    
}

第六，向inputs中添加深度GT

if self.load_depth:
    depth_gt = self.get_depth(folder, frame_index, side, do_flip)
    inputs["depth_gt"] = np.expand_dims(depth_gt, 0)
    inputs["depth_gt"] = torch.from_numpy(inputs["depth_gt"].astype(np.float32))

此时，inputs的格式为

单目序列：
inputs:
{
图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", -1, 0):image,
    ("color", 1, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", -1, 1):image,
    ("color", 1, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", -1, 0):image,
    ("color_aug", 1, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", -1, 1):image,
    ("color_aug", 1, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK

深度GT：
    ("depth_GT"):depth_image
}

双目数据：
inputs:
{
图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", s, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", s, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", s, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", s, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK

深度GT：
    ("depth_GT"):depth_image
    
}

第七，向双目数据中添加外参

if "s" in self.frame_idxs:
    stereo_T = np.eye(4, dtype=np.float32)
    baseline_sign = -1 if do_flip else 1
    side_sign = -1 if side == "l" else 1
    stereo_T[0, 3] = side_sign * baseline_sign * 0.1

    inputs["stereo_T"] = torch.from_numpy(stereo_T)

 注意，当相机为左时，side_sign为-1，说明是以右图为主图像。此时，inputs的最终格式为：

单目序列：
inputs:
{
图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", -1, 0):image,
    ("color", 1, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", -1, 1):image,
    ("color", 1, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", -1, 0):image,
    ("color_aug", 1, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", -1, 1):image,
    ("color_aug", 1, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK

深度GT：
    ("depth_GT"):depth_image
}

双目数据：
inputs:
{
图像金字塔：
    scale=0
    ("color", 0, 0):image,
    ("color", s, 0):image,

    scale=1
    ("color", 0, 1):image,
    ("color", s, 1):image,

扩张图像：
    scale=0
    ("color_aug", 0, 0):image,
    ("color_aug", s, 0):image,

    scale=1
    ("color_aug", 0, 1):image,
    ("color_aug", s, 1):image,

参数：
    ("K", 0):K
    ("inv_K", 0):invK
    ("K", 1):K
    ("inv_K", 1):invK

深度GT：
    ("depth_GT"):depth_image

外参：
    ("stere_T"):T
    
}

Fox_Feng1990
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
monodepth2架构（流程图）.vsd
11-10
Monodepth2网络结构/架构（流程图）
monodepth2代码详解：def process_batch(self, inputs):
最新发布
u011059143的博客
09-21 305
第三，估计predictive_mask，当前默认False。第四，使用posenet，更新outputs中的外参。可以看到有两对相机参数，分别是0和-1帧，0和1帧。第五，产生预测和计算loss。
单目深度估计 Monodepth2 networks源码逐行注释
weixin_42122136的博客
07-14 486
【代码】单目深度估计 Monodepth2 networks源码逐行注释。
monodepth无监督卷积神经网络深度估计代码解析（二）
bofu_sun的博客
04-12 3912
1
Monodepth2代码整体网络架构
2301_77854234的博客
06-04 1898
Monodepth2整体基于Unet架构，这种网络架构能够实现更精确的分割，Unet网络架构的收缩路径和扩展路径对称，Unet网络在文末创新点章节有具体介绍，这里简述网络结构联系。
【Ubuntu版】monodepth2复现教程
IT菜鸟
10-05 3785
一、参考资料 源码 二、相关环境 1. 系统环境 Environment Operating System + Version: Ubuntu + 16.04 GPU Type: RTX 3060,12GB Nvidia Driver Version: 470.63.01 CUDA Version: 11.1 CUDNN Version: 8.0.5 Python Version (if applicable): 3.6.6 PyTorch Version (if applicable): 1.9.0 py
[单目深度估计---学习记录二]MonoDepth2 论文与代码注释
weixin_51179742的博客
06-09 3392
MonoDepth2代码-个人注解地址从一个单个彩色输入图像自动推断出一个密集的深度图像。​ 在缺乏真实标签深度的情况下，一种方法是利用图像重建作为监督信号来训练深度估计模型。在这里，模型被给定一组图像作为输入，要么是以立体对的形式，要么是以单目序列的形式。通过对给定图像预测深度，并将其投影到附近的视图中，通过最小化图像重构误差来训练模型。一个最小重投影误差，用来提升算法处理遮挡场景的鲁棒性如下图， 帧出现了遮挡像素，即使在深度预测正确的情况下，重建得到的图像也会有较大的损失（因为重建得到的图像是由变换
基于python的GPT2中文摘要生成模型代码实现
03-26
在Python代码中，可以使用`transformers`库的`AutoTokenizer`和`AutoModelForCausalLM`类加载模型和tokenizer： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = ...
inputs:更好的输入元素
04-07
可观察的输入 可观察的输入是轻量级的用户界面组件（按钮，滑块，下拉菜单，表格等），可帮助您浏览数据并在“建立交互式显示。 每个输入都可以用作。 例如，要允许数字x由滑块操纵： ...最后，Inputs提供
flask-inputs:传入请求数据验证
05-06
Flask-Inputs扩展增加了对WTForms的支持，以验证从args到json头的请求数据。 安装 要安装Flask-Inputs，只需： $ pip install flask-inputs JSON验证需要 ： $ pip install jsonschema 文献资料 可从获得文档 ...
Python-MonoDepthPyTorchPyTorch无监督单目深度估计
08-11
MonoDepth-PyTorch - PyTorch无监督单目深度估计
Monodepth2-TF2:TF2.x中实现的monodepth2模型，原始论文《挖掘到自我监督的单眼深度预测》
03-26
Monodepth2-TF2 这是在TF2.x中实现的monodepth2模型，该原始论文《挖掘到自我监督的单眼深度预测》。 依存关系 tensorflow==2.3.1 (for gpu) cudatoolkit=10.1, cudnn=7.6.5 表现 我正在使用普通的GTX1060-MaxQ GPU。 用于单图像深度估计的FPS： 使用tf.saved_model.load （我认为这是服务模式） 编码器：〜2ms（500 FPS） 解码器：〜2ms 总体而言：> 200 FPS 使用tf.keras.models.load_model与model.predict() ： 整体：〜100 FPS（细节忘了...） 笔记 它目前仅供个人使用，如果需要任何内容​​，请随时与我联系。 请原谅我没有使用参数解析，所以您不能使用一个命令来运行。 在运行演示时，您需要更改一些路径
Android代码-NextInputs-Android
08-05
项目结构 inputs Inputs校验核心模块，实现校验库的整体架构；见: Inputs android Android 外壳模块，针对Android平台的组件访问做支持； 项目地址 OSChina项目地址 GitHub项目地址 NextInputs Inputs校验核心...
1-具有准确度、精确度和召回率的最近邻：INPUTS:TEST SET,TRAINING SET,GROUP,K-VALUE,DISTANCE,RULE OUTPUT:ACCURACY,PRECISION,RECALL-matlab开发
05-30
找到 K 最近的邻居 :: 公式 ：： Class = knnclassify(测试、训练、组、k、距离、规则) 输入：- 测试集、训练集、组、K 值、距离、规则测试、训练 - 矩阵组 - 行分组K - 用于分类的最近邻居的数量距离 - 欧几里得...
Monodepth2代码学习记录2
CarsimLn的博客
04-01 2215
接Monodepth2代码学习记录1，今天看训练部分。 有三个文件，train.py trainer.py options.py 先看train.py from __future__ import absolute_import, division, print_function from trainer import Trainer from options import MonodepthOptions options = MonodepthOptions() opts = options.
【Windows版】Monodepth2复现过程
IT菜鸟
10-06 2629
一、参考资料 源码 二、相关环境 1. 运行环境 系统：Windows10 CPU：i5 4200H GPU：GeForce GTX 850M,2GB 内存：12GB python：3.6.6 pytorch:0.4.1 torchvision:pytorch对应的版本 anconda虚拟环境名称：monodepth2-gpu 2. monodepth2-gpu.yaml name: monodepth2-gpu channels: - http://mirrors.tuna.tsinghua.edu
Monodepth2代码学习记录1
CarsimLn的博客
03-30 3073
简单学习以下monodepth2的代码
双目测距系列（八）monodepth2训练代码分析上
ltshan139的专栏
05-08 4124
前言 在系列七中，我们提到了train.py中实际上只有两行训练相关的代码，第一行是Trainer构造函数的调用，主要是初始化和数据集的构建，系列七主要是对这个过程进行了梳理。第二行是Trainer成员函数train的执行，这个是训练真正执行部分，本文着重来对它进行分析。 训练数据集按batch来加载 def train(self): """Run the enti...
Monodepth2 Code笔记
weixin_43403569的博客
07-18 3596
一、基础解析 Kitti文件夹的含义 –image0文件（黑白左目） –image1文件（黑白右目） –image2文件（彩色左目） –image3文件（彩色右目） [0, -1, 1, ‘s’]代表的含义网络的输入有4张图 0代表读取当前帧； -1代表前一帧； +1代表后一帧； 's’代表双目当前帧的另一侧的图片； 每张图对应4个尺度，每个尺度都会数据增强 这里的内参K是归一化的，后面使用的时候： 第一行×当前scale的图片width，第二行×当前scale的图片height 也要求广义逆
Uncaught TypeError: inputs[nextIndex].focus is not a function
07-11
如果你在使用 `inputs[nextIndex].focus()` 时遇到了 "Uncaught TypeError: inputs[nextIndex].focus is not a function" 错误，这可能是因为 `inputs[nextIndex]` 不是一个 DOM 元素，或者该元素没有提供 `focus` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值