论文笔记-深度估计(3)Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale...

最新推荐文章于 2025-05-30 16:13:32 发布
最新推荐文章于 2025-05-30 16:13:32 发布
阅读量4.2k 收藏 10
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度、位姿估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kevin_cc98/article/details/78935659
该论文提出了一种共同的多尺度卷积架构，用于预测深度、表面法线和语义标签。通过三个阶段的网络，解决了2014年论文中未输出像素级深度预测的问题。Scale 1使用VGG或AlexNet提取特征，Scale 2进行预测，Scale 3提高分辨率，以获得更清晰的输出。深度和法向量的损失函数改进，增加了平滑度，避免了额外的处理步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture

这篇文章是eigen 2015年的新文章，基于同样的模型，同样的初始化和大概相同的参数，可以用来得到深度，表面法向量或语义标签。

1.网络介绍

它的Pipeline如图:
这里写图片描述

这里写图片描述

三个stage的网络，scale1的输入与池化后的原图片concatenate，scale2的输入与池化后的原图片进行concatenate。相对于2014年的论文Depth Map Prediction from a Single Image using a Multi-Scale Deep Network中没有输出像素级深度预测的问题，新增了scale3用来unsample。

2.Scale 1-Full-Image:

先对它进行一个VGG或AlexNet的网络来提取feature ma

最低0.47元/天 解锁文章
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Archit
qd1813100174的博客
12-01 1573
本文用一个模型解决了三个问题： 1.深度估计 2.表面法向估计 3.语义标注
[paper] 00040-Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale
六半
10-29 423
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture Paper: Author: David Eigen: Dept. of Computer Science, Courant Institute, New York Unive...
49-Halcon-- surface_normals_object_model_3d函数功能（计算3D对象模型的表面法线）
最新发布
weixin_45590420的博客
05-30 700
Halcon的surface_normals_object_model_3d算子用于计算3D模型的表面法线，支持三种方法：移动最小二乘法('mls')适合噪声数据，主成分分析('pca')适于均匀点云，三角面片法('triangles')需完整网格结构。算子提供半径、邻域点数、法线定向等关键参数控制计算过程，并支持法线平滑、自适应半径等高级应用。典型应用包括点云处理、网格优化和特征提取，可通过方法选择和参数优化平衡精度与效率。
论文笔记：Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional
upup
06-06 1158
一、基本信息 标题：Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 时间：2015 出版源：IEEE 论文领域：单目深度估计、深度学习、语义分割、CNN 引用格式：Eigen D, Fergus R. Predicting depth, surface normals and semantic labels with a common mult
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale... 论文笔记
qq_39546227的博客
10-29 796
1. 论文介绍 本文作者设计了一种通用的多尺度网络，仅需要通过少量的修改就能适用于三个不同的计算机视觉任务：深度估计，表面法向量估计，语义分割。给定输入图片，网络能够直接回归出输出图，如深度图、法向量图、分类图。网络结构在之前工作上加以改进，堆叠了 3 层卷积神经网络，从低分辨率逐渐升到高分辨率，进一步改善了图像细节。测试中，网络的输出是实时的，达到了 30Hz 左右，同时生成的结果在三项任务中都...
Predicting Depth,Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Archite
TheWaySoFar
04-13 2173
Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 主要贡献: 使用multi scale训练, 每一阶段的输入都是累加上一阶段的输出和原图像的一层卷积下采样. 第一阶段和第二阶段联合训练(感觉就是可以把第一阶段和第二阶段联合在一起...
[深度学习论文笔记][Depth Estimation] Predicting Depth, Surface Normals and Semantic Labels with a Common M
Hao_Zhang_Vision的博客
10-18 2374
Eigen, David, and Rob Fergus. “Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture.” Proceedings of the IEEE International Conference on Computer
2.predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Conv Architecture
乘风的博客
11-23 422
redicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture 论文在这儿 大体思想 这篇论文是上一篇论文的改进。使用单个多尺度卷积网络架构处理三种不同的计算机视觉任务：深度预测、表面法线估计和语义标记。网络结构一共包含三个stage的网络，scale...
单目深度估计论文(2）— Predicting depth, surface normals and semantic labels with a common multi-s (ICCV 2015)
smallEngineer的博客
05-02 324
第二篇利用CNN进行单目深度估计的论文(有监督) [1] Eigen D, Fergus R. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture[C]. Proceedings of the IEEE international conference on computer vision. 2015: 2650-2658. ...
Normal与depth互相计算
xiweijie的博客
09-14 3085
Compute normal vector from depth 代码地址ComputeNormal matlab code 代码参考Data-driven 3d primitives for single image understanding 使用matlab库函数surfnorm 算法 input: D Depth map，K Camera intrinsic output: N Surface normal map def GenerateSurfaceNormal(D, K) P (X,
Python-多任务联合分割DepthSurfaceNormas实时轻量级RefineNet
08-10
多任务（联合分割/Depth/Surface Normas）实时轻量级RefineNet
Dimensions of color surface does not match dimensions of depth surface
小孔明的专栏
07-18 4333
这个多半是由于摄像机的view 和 project矩阵没有设置正确。
【论文精读】Deep Surface Normal Estimation with Hierarchical RGB-D Fusion
sunnyblogs的博客
04-12 1072
【Abstract】 RGB-D商业相机的普及促进了其在场景理解领域的发展。然而，基于RGB-D数据的surface normal estimation作为场景理解领域的基础任务，却缺乏深入的研究。本论文，提出了一种具有自适应特征权重的分层融合网络，用于单个RGB-D图像的surface normal estimation。其中，彩色图像的特征与深度图像的特征在多个尺度上依次融合，以确保整体表面平滑的同时保有视觉显著细节。同时，深度特征在合并到彩色分支之前，使用深度估计的置信图重新加权，以避免输入的深度存在
论文阅读 [TPAMI-2022] Deep Photometric Stereo Networks for Determining Surface Normal and Reflectances
weixin_42155685的博客
03-29 252
论文阅读 [TPAMI-2022] Deep Photometric Stereo Networks for Determining Surface Normal and Reflectances 论文搜索(studyai.com) 搜索论文: Deep Photometric Stereo Networks for Determining Surface Normal and Reflectances 搜索论文: http://www.studyai.com/search/whole-site/?q=De
计算机视觉算法中的 深度估计（Depth Estimation）
牛肉胡辣汤
09-16 2539
需要注意的是，这个示例只是一个简单的演示代码，实际的深度估计算法可能需要更复杂的网络结构和训练过程。在传统的双目视觉系统中，通过计算两个摄像头之间的视差（disparity），可以推断出物体的深度。通过对摄像头捕捉到的场景进行深度估计，可以将虚拟对象与现实场景进行精确的融合，提供更加逼真的增强现实体验。​函数显示深度图像。需要注意的是，这个示例只是一个简单的演示代码，实际的深度估计算法可能需要更复杂的网络结构和训练过程。通过对场景中的物体进行深度估计，可以重建出物体的三维模型，从而实现对场景的三维感知。
unity标准着色器入门-材质参数（二）
tt58521的博客
06-22 4636
金属模式：金属参数 当在金属工作流（不同于镜面工作流）下工作时，表面的反射成都和光照反应由金属性级别和平滑度级别来修改。 当使用这个工作流时，镜面反射仍然被生成；但依赖于给予Metallic和Smoothness级别的设置而自然出现，不是被指定的。 金属模式并非仅仅用于看起来应该是金属的材质！此模式名为金属，是因为用户控制表面如何成为金属或非金属的方式。 金属性参数 材质的金属参数决定了表面如何“像金属那样”。当一个表面更加金属化，它更多地反射环境，albedo色变得更难看到。在完全金属级别下，表面
Unity获取depth与normal的几种方法对应的效果
weixin_42565127的博客
05-13 844
Depth 获取Depth的几种方法，分别有不同效果 1. <spanstyle="font-size:14px;">float2depth_uv=float2(i.uv_MainTex.x,1-i.uv_MainTex.y); floatd=SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture,depth_uv);</span> 2. <spanstyle...
DeepLab：深度卷积网络，多孔卷积 和全连接条件随机场 的图像语义分割 Semantic Image Segmentation with Deep Convolutional Nets, Atro
热门推荐
Taylor Guo
05-04 4万+
深度卷积网络，多孔卷积 和全连接条件随机场 的图像语义分割 DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 本文的主要任务是深度学习的图像语义分割
A novel dual-scale ensemble learning paradigm with error correction for predicting daily ozone concentration based on multi-decomposition process and intelligent algorithm optimization, and its application in heavily polluted regions of China
04-28
<think>好的，用户现在想了解双尺度集成学习范式及其在臭氧浓度预测中的应用，特别是结合多分解、误差校正和智能算法优化的方法。首先，我需要理清楚双尺度集成学习的基本概念，以及它如何与这些技术结合。用户的问题提到了“dual-scale ensemble learning paradigm with error correction”，所以需要明确双尺度的含义，通常可能是指时间尺度或空间尺度的分解，比如将数据分解为高频和低频部分分别处理。 接下来是多分解方法，可能涉及像小波分解（Wavelet Decomposition）、经验模态分解（EMD）或者变分模态分解（VMD）等技术。这些方法用于将原始臭氧浓度时间序列分解成多个子序列，以便更好地捕捉不同频率的特征。然后，每个子序列可能用不同的基模型进行预测，比如机器学习模型如随机森林、支持向量机，或者深度学习模型如LSTM。 误差校正部分可能需要使用智能算法优化，比如遗传算法、粒子群优化（PSO）来调整模型参数，或者对预测结果进行后处理，修正残差。集成学习范式可能涉及将不同模型的预测结果进行结合，比如加权平均或堆叠模型（stacking）。双尺度的集成可能意味着在分解后的不同尺度上分别建立模型，再进行集成，以提高整体预测精度。 我需要验证这些技术是如何在文献中被应用的，是否有相关的研究支持这种方法的有效性。例如，多分解可以降低时间序列的复杂性，使模型更容易捕捉局部和全局特征。误差校正则可能通过分析预测误差的模式，进一步优化结果。智能算法优化可能用于超参数调整，或者选择最优的模型组合。 然后，用户可能需要具体的步骤或框架图来说明这个过程。例如，首先分解臭氧数据，然后在每个子序列上训练模型，接着集成预测结果，并进行误差校正。最后，使用优化算法调整整个系统的参数。 另外，用户提到的“dual-scale”可能需要更明确的定义，是否指两种不同的分解方法，或者同一分解方法下的两个不同尺度。需要确保回答中明确这一点，避免混淆。 在应用场景方面，臭氧预测通常用于空气质量监控、公共卫生预警等，双尺度集成可能提升短期和长期预测的准确性。需要举例说明实际应用中的优势，比如处理非线性、非平稳数据的能力。 最后，生成的相关问题需要围绕方法细节、优化策略、应用案例和性能评估展开，帮助用户深入理解该范式的各个方面。同时，引用相关的文献或研究来支持技术点的有效性，确保回答的可靠性。</think>### 双尺度集成学习范式及其在臭氧预测中的应用 #### 1. 核心框架 双尺度集成学习范式通过**多尺度分解**与**误差修正机制**提升臭氧浓度预测精度，其流程包含以下关键步骤： 1. **多分解预处理** 使用$EEMD$（集合经验模态分解）或$VMD$（变分模态分解）将原始臭氧浓度序列分解为**高频分量**（短期波动）和**低频分量**（长期趋势）[^2]，数学表达为： $$X(t) = \sum_{i=1}^n IMF_i(t) + R(t)$$ 其中$IMF_i$为分解后的子序列，$R(t)$为残差项。 2. **双尺度建模** - **高频分量**：采用$LSTM$或$GRU$捕捉时序动态特性 - **低频分量**：使用随机森林或$XGBoost$学习非线性关系 ```python # 示例：VMD分解与LSTM预测 from vmdpy import VMD alpha = 2000 # 带宽约束 tau = 0 # 噪声容忍 K = 3 # 分解模态数 u, _, _ = VMD(signal, alpha, tau, K) # 分解信号 model_lstm = LSTM().fit(u[0]) # 高频分量建模 ``` 3. **误差修正优化** 通过**智能算法**（如粒子群优化$PSO$）对预测残差$e(t)$建模： $$e(t) = \sum_{j=1}^m w_j \cdot g_j(t)$$ 权重$w_j$由$PSO$优化目标函数$\min \sum (y_{true} - y_{pred} - e)^2$确定[^3]。 #### 2. 技术优势 | 方法 | 预测误差（MAE） | 训练时间（秒） | |------------|-----------------|----------------| | 单一LSTM | 8.2 μg/m&sup3; | 360 | | 本范式 | 5.1 μg/m&sup3; | 420 | *数据来源：北京2021年臭氧预测实验[^4]* #### 3. 典型应用场景 - 城市空气质量预警系统 - 工业区臭氧污染源追踪 - 气象-污染耦合预测模型
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值