清华博士后黄石生:深度神经网络实时三维重建和在线语义分割技术报告

“走进高校” CARA 第二期学术讲堂:智能几何计算篇,直播已圆满结束。错过直播的小伙伴,福利来了,CV君已将回放视频整理完毕,欢迎收看!

第三 part,是黄石生老师的学术分享,主题为“基于深度神经网络的三维场景实时重建和在线语义分割。

黄老师将通过该领域的研究背景以及两个主题在深度神经网络上的实践报告进行分享。

主题一:深度隐式三维场景DI-Fusion

主题二:基于超体素卷积的在线语义分割

讲员介绍

本文及视频禁止转载。

备注:3D

三维视觉交流群

扫码备注拉你入群。

在看,让更多人看到  

【多摄像机三维重建技术与应用】博士论文 【摘要】 多摄像机三维重建计算机视觉中一个非常活跃的研究领域,得到了人们的广泛关注和大力研究。到目前为止,学者们在此领域取得了丰硕的研究成果,但仍有许多理论和技术问题需要解决,比如遮挡、多视点匹配、多摄像机标定等。本文在前人研究的基础上,对多摄像机标定、摄像机可视区域建模、多视点三维重建等问题进行了研究。 本文提出了一种基于分组的多摄像机标定方法,能将所有摄像机的内外参数完全标定至同一世界坐标系下。首先根据摄像机朝向及物理位置邻近关系将多个摄像机分组,使得每一组内所有摄像机呈完全会聚配置;然后分别标定每一分组,得到组内所有摄像机的内外参数;最后利用组间的公共可视平面,鲁棒定位多摄像机组至同一世界坐标系下。通过对摄像机分组,该方法可解决非会聚配置多摄像机系统的标定问题。在标定各摄像机的外部参数时,该方法对摄像机间所有的公共可视平面信息进行了全局考虑,有效解决了使用随机选取单个公共可视平面求解摄像机外部参数时的不一致性问题。实验结果说明了该方法的有效性。 图像之间的特征匹配是多摄像机三维重建的关键,为了解决匹配过程中的遮挡问题,需要对各摄像机在三维场景中的可视区域进行建模。本文提出了一种隐式架构下的多摄像机可视区域建模方法。该方法使用水平集函数隐式地表示三维场景的几何结构,根据场景的全局几何信息使用隐式光线跟踪技术判断场景中每一点相对于各摄像机的可视性。与其它摄像机可视区域建模技术使用显式的方式表示三维场景相比,本文所提出的方法能够避免光线跟踪过程中的复杂计算,具有更高的计算效率。仿真实验结果验证了该方法的有效性。 为了从物体的多视点图像中恢复出物体的三维表面,本文提出了一种基于曲面演化的多视点三维重建方法。该方法采用变分水平集的思想,首先将待重建表面隐式地表示为水平集函数的零水平集,然后根据待重建表面在各视点图像上的影像一致性和区域一致性建立以水平集函数为参数的能量泛函,最后根据变分原理求解泛函极值,得到结果表面。 与基于传统水平集方法的多视点三维重建技术相比,本文所提出的方法具有如下优势: (1) 由能量泛函最小化推导水平集函数演化方程的过程更加自然; (2) 最终的重建结果不依赖于水平集函数的初始值; (3) 避免了水平集函数的重新初始北京理工大学博士学位论文 II化,数值实现过程更加简单高效; (4) 集成了更多的约束信息,具有更好的鲁棒性。在Middlebury标准测试图像和实际场景图像上的重建结果说明了该方法的有效性。 本文还设计了一种由多立体视觉头组成的多摄像机人脸三维重建系统,将所提出的多摄像机标定、摄像机可视区域建模和多视点三维重建方法应用于人脸三维重建,实现了真实感的人脸三维建模。 【关键词】:三维重建;多视点建模;多摄像机标定;可视性估计;变分水平集
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值