DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama和BiFuse: M...

最新推荐文章于 2024-09-17 02:13:06 发布
最新推荐文章于 2024-09-17 02:13:06 发布
阅读量310 收藏 3
点赞数
文章标签： 机器学习 人工智能 深度学习 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013517182/article/details/109980747
版权

这两篇论文做的工作都是关于全景图的工作，一篇是做layout的估计，另外一篇是做深度估计，他们相同点是都用了不同视角的图像来作为输入，将全景图和透视图之间的特征进行融合来做高层的任务。

目录

dula-net

这篇文章做的工作做的任务是估计非cuboid的室内场景的layout，作者使用了两路branch，一路是panorama的branch，另外一路是ceilling的branch，通过一个E2P的stn将其特征进行变换和融合，然后将最终的结果也进行融合，并且生成最后的layout
作者的贡献点在于使用了两种不同的输入，以及feature fusion这样的一个层，并且作者说不怎么需要后处理就能够得到比较好的layout，因为作者处理的case不仅仅包含cuboid的shape，作者也处理非规则的cuboid，所以建了个数据集，corners比较多。流程图如下


feature 融合的方式是从panorama向下融合，直接采用相加的方式

注意上图还是有post process的，训练的方式是对两个网络分别使用交叉熵loss，作者做了一些实验验证其方法是有效的，对比对象主要是layoutnet，发现都是超过之前的试验结果的。
感觉这篇文章的主要创新点在于使用了一个E2P的stn layer，下一篇文章也是类似的创新

BiFuse

这一篇文章做的是深度估计，和上一篇文章是一样的，ta提出了一个是e2c还有一个是c2e的两个stn，用于融合两个branch的特征，同时作者提出了一种spherecial的padding方法，

对比的对象有omnidepth的一篇文章，以及FCRN的单目图像估计的文章
作者在消融实验部分也比较了是否添加fuse，两个单路的情况是怎么样的，发现加了fuse对于有些指标提升并不是很大

YongjieShi
关注
matlab将代码对齐-DuLa-Net:我们CVPR2019论文的Pytorch演示代码：用于从单个RGB全景估算房间布局的双投影网络
05-26
matlab将代码对齐杜拉网 这是我们CVPR 2019论文的pytorch演示代码DuLa-Net：用于从单个RGB全景估算房间布局的双投影网络（，） 通过此存储库，您可以从单个室内RGB全景图估算3D房间布局。 要查看更多详细信息，请参阅论文或项目页面。 先决条件 Python3 Pytorch（CUDA> = 8.0） OpenCVPython 枕头/ scikit图片 预训练模型 首先，请下载并复制到./Model/ckpt/ 预训练模型在具有不同主干网的Realtor360数据集上进行训练。 前处理 输入的全景图应该已经与“曼哈顿世界”对齐。 我们建议您使用Matlab中的或python实现。 这些工具可以帮助您进行预处理以对齐全景图。 预测 然后使用以下命令加载预训练的模型并预测3D布局。 python demo.py --input figs\001.jpg 如果要使用其他骨干网（默认为resnet18）。 python demo.py --input figs\001.jpg --backbone resnet50 --ckpt Model\ckpt\res50_rea
Person-con-nombre-y-c-dula-v-lidos
04-20
添加封装的Person类并将其修改为仅接受有效的名称和ID。 如果名称不为空，则该名称有效。 如果验证码正确，则该ID有效。 使用附件中提供的代码作为起点。 该代码包括用于创建具有有效信息的人员的行，以及用于通过...
论文笔记：DuLa-Net(CVPR 2019)
upup
12-09 903
DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama (CVPR 2019) pdf下载 项目地址 使用等距全景图和透视天花板图，各自一个encode-decoder分支，提出新颖的2分支特征融合方法。对于多角度复杂布局的房间效果较好。 主要贡献 提出在2个视图上进行2分支端到端学习，最后2分支进行特征融合。 NN直接输出二维平面图的概率图。后处理比较少。 引入Realt
3D Room Layouts From A Single Rgb Panorama
05-22 344
关于layout的一个汇总的网址： https://paperswithcode.com/task/3d-room-layouts-from-a-single-rgb-panorama
论文笔记：全景图恢复房间结构(Room Layout Estimation From A Panorama Image)
upup
11-10 1765
DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama (CVPR 2019) [pdf下载] (https://openaccess.thecvf.com/content_CVPR_2019/papers/Yang_DuLa-Net_A_Dual-Projection_Network_for_Estimating_Room_Layouts_From_a_CVPR_2019_pap
缺陷检测文献
轻舟已过万重山
09-02 7778
缺陷检测文献阅读
DuLa-Net：一种从单个RGB全景图中推断3D房间布局的深度学习框架
1DuLa-Net：一种用于从单个RGB全景图杨尚塔1，2sundadenny@gapp.nthu.edu.tw王福恩fulton84717@gapp.nthu.edu.tw彭志涵2pchihan@asu.edu彼得·旺卡2pwonka@gmail.com孙敏1sunmin@ee.nthu.edu.tw朱宏国hkchu@cs.nthu....
LGT-Net：具有几何感知Transformer网络的室内全景房间布局估计
Feature Extractor512x1024x31x1Global BlockShifted Window BlockGlobal BlockWindow Blockx 2SWG-TransformerNormal ()Gradient ()Room Height ()Post-Processing3D Visualizing256x1024256x1024256x1Horizon-...
单片机密码锁(掉电可记忆密码).pdf
06-27
- 使用了多个输入输出引脚（如S1-S14，dula, wela, beep等）与外部硬件交互，如按键和LED数码管。 - I²C总线用于通信，SCL和SDA引脚分别用于时钟和数据传输。 5. **软件实现**： - 程序使用C语言编写，包含...
【GitHub项目推荐--计算机视觉】【转载】
j8267643的博客
01-28 889
通过 EasyCV 你可以快速体验最新的图像自监督学习和 Transformer 技术，并且 EasyCV 还包含一些常见的计算机视觉的任务，比如图像分类、目标检测等等。EasyCV 是阿里巴巴开源的基于 PyTorch 的 Computer Vision 工具箱，主要专注于自监督学习和 Transformer。开源地址：https://github.com/alibaba/EasyCV。
CVPR2019论文题目中文列表
qq_33581906的博客
11-18 6669
英文题目 中文题目 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 少镜头学习中用类别遍历法寻找任务相关特征 Edge-Labeling Graph Neural Network for Few-Shot Learning 用于少镜头学习的边缘标记图神...
【今日CV 视觉论文速览】30 Nov 2018
TomRen
11-30 1695
今日CS.CV计算机视觉论文速览 Fri, 30 Nov 2018 Totally 62 papers Daily Computer Vision Papers [1] Title: Diverse Image Synthesis from Semantic Layouts via Conditional IMLE Authors:Ke Li, Tianhao Zhang, Jitendr...
深度学习应用到图像超分辨率重建2
暮日落流年的博客
08-04 1万+
图像超分辨重建一直也算是一个比较火的话题，发展也是很迅速的，下面结合我最近看的几篇文章，写写一些论文总结。     图像超分辨重建的基本的思想以及常见的一些算法已经在我之前的一篇文章介绍了，这里也就不过多介绍了。感兴趣的同学可以参考这篇文章深度学习应用到图像超分辨率重建1 这里着重介绍一些新发展的一些文章。 1. Learning a Single Convolu...
异常检测(五):DRAEM--A discriminatively trained reconstruction embedding for surface anomaly detection
shuaijieer的博客
10-26 2125
哎，这篇文章和我们现在做的工作很像
CVPR2021论文列表（中英对照）
热门推荐
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
机器学习和深度学习的区别
最新发布
蜡笔小新星的博客
09-17 566
总结来说，深度学习是机器学习的一个更复杂、更强大的分支，适用于处理大规模和复杂的数据集，而机器学习则更为广泛，适用于多种不同的任务和数据规模。
AI论文精读笔记-Generative Adversarial Nets(GAN)
小菜的博客
09-11 1059
GAN论文精度笔记
机器学习--AlexNet
ID246783的博客
09-14 997
这个netnetnet其实就是比LeNetLeNetLeNet# 第一阶段# 第二阶段# 第三阶段# 第四阶段net.add(nn.Dropout(.5)) # 50% 的概率的丢掉 但期望不变# 第五阶段# 第六阶段net.add(nn.Dense(10)) # 真实的AlexNet是1000 但是我们这里还是用的mnist 所以就是10print(net)我们可以看看打印出来的netnetnet然后我把LeNetLeNetLe。
机器学习VS深度学习
weixin_43215013的博客
09-14 686
机器学习更依赖于手动设计的特征和较为简单的模型，适用于中小型数据集，计算需求较低，解释性较好。深度学习是机器学习的一个分支，使用多层神经网络，擅长自动提取复杂特征，能够处理大量非结构化数据，计算资源需求大，但在许多复杂任务（如图像和语音处理）中性能优异。
利用gy906的代码.
06-01
好的，下面是使用GY906红外温度传感器的代码示例，该代码使用89C52单片机和GY906进行连接，读取GY906输出的温度数据并在LCD屏幕上显示出来。 ``` #include <reg52.h> #include <intrins.h> //定义端口 #define wela P2 #define dula P2 #define DATA P0 #define SDA P1_7 #define SCL P1_6 //定义函数 void delay(unsigned int i); void init(); void write_com(unsigned char com); void write_data(unsigned char dat); void display(unsigned char addr,unsigned char dat); unsigned char read_i2c(unsigned char addr,unsigned char reg); void write_i2c(unsigned char addr,unsigned char reg,unsigned char dat); //主函数 void main() { unsigned char temp[2]; //存储温度数据 unsigned int temperature; //存储温度值 init(); //初始化 while(1) { temperature = read_i2c(0xD0,0x07)*256 + read_i2c(0xD0,0x06); //读取温度值 temperature = temperature*0.02 - 273.15; //将温度值转换为摄氏度 display(0x80,temperature/100); //显示百位数字 display(0x81,temperature%100/10); //显示十位数字 display(0x82,temperature%10); //显示个位数字 delay(500); //延时0.5s } } //延时函数 void delay(unsigned int i) { while(i--); } //初始化函数 void init() { write_com(0x38); //开显示 write_com(0x0c); //开光标、不显示 write_com(0x06); //写数据时光标自动加1 write_com(0x01); //清屏 } //写命令函数 void write_com(unsigned char com) { DATA = com; //将命令写入数据口 dula = 0; //清除锁存器 _nop_(); //空操作 _nop_(); dula = 1; //锁存器锁存 } //写数据函数 void write_data(unsigned char dat) { DATA = dat; //将数据写入数据口 dula = 0; //清除锁存器 _nop_(); //空操作 _nop_(); dula = 1; //锁存器锁存 } //显示函数 void display(unsigned char addr,unsigned char dat) { wela = 0; //清除锁存器 _nop_(); //空操作 _nop_(); wela = 1; //锁存器锁存 write_com(addr); //写入地址 write_data(dat+'0'); //写入数字 } //I2C读取函数 unsigned char read_i2c(unsigned char addr,unsigned char reg) { unsigned char dat; SDA = 1; //SDA线置高 SCL = 1; //SCL线置高 _nop_(); //空操作 _nop_(); SDA = 0; //SDA线置低（起始信号） _nop_(); _nop_(); SCL = 0; //SCL线置低 _nop_(); _nop_(); write_i2c(addr,reg,0); //写入寄存器地址 SDA = 1; //SDA线置高（停止信号） _nop_(); _nop_(); SCL = 1; //SCL线置高 _nop_(); _nop_(); SDA = 1; //SDA线置高 _nop_(); _nop_(); SCL = 0; //SCL线置低 _nop_(); _nop_(); SDA = 0; //SDA线置低（起始信号） _nop_(); _nop_(); addr = addr | 0x01; //读取地址 write_i2c(addr,0,0); //写入读取地址 SDA = 1; //SDA线置高 _nop_(); _nop_(); SCL = 1; //SCL线置高 _nop_(); _nop_(); dat = DATA; //读取数据 SDA = 1; //SDA线置高（停止信号） _nop_(); _nop_(); SCL = 0; //SCL线置低 _nop_(); _nop_(); return dat; } //I2C写入函数 void write_i2c(unsigned char addr,unsigned char reg,unsigned char dat) { SDA = 1; //SDA线置高 SCL = 1; //SCL线置高 _nop_(); //空操作 _nop_(); SDA = 0; //SDA线置低（起始信号） _nop_(); _nop_(); DATA = addr; //写入设备地址 _nop_(); _nop_(); SCL = 0; //SCL线置低 _nop_(); _nop_(); SDA = 1; //SDA线置高（ACK信号） _nop_(); _nop_(); DATA = reg; //写入寄存器地址 _nop_(); _nop_(); SCL = 1; //SCL线置高 _nop_(); _nop_(); SCL = 0; //SCL线置低 _nop_(); _nop_(); SDA = 1; //SDA线置高（ACK信号） _nop_(); _nop_(); DATA = dat; //写入数据 _nop_(); _nop_(); SCL = 1; //SCL线置高 _nop_(); _nop_(); SCL = 0; //SCL线置低 _nop_(); _nop_(); SDA = 1; //SDA线置高（停止信号） _nop_(); _nop_(); } ``` 需要注意的是，该代码中使用的读取温度值的计算方法适用于GY906型号的红外温度传感器，如果您使用的是其他型号的红外温度传感器，可能需要根据传感器的数据手册进行相应的调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值