淘系技术发布业界首个基于神经渲染的3D建模产品Object Drawer,推理速度均提升10000倍

总结

这个月马上就又要过去了,还在找工作的小伙伴要做好准备了,小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案,希望能帮助到大家

在这里插入图片描述

在这里插入图片描述

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

526ca2eab31165fc2917b0b8ec6dc910.png

7c5787a8cb8c9a9ce7a2f9f963299c8e.png

9df42b44fd40652b2fa1237d6e9e8e61.png

31a714de84dac87c9c37aaec15bf1563.gif

81e693f65b736e0f0ecb73188ae6a288.gif

834591547cd4d156775cbec6a5cf3abd.png

NeRF (左)与Object Drawer (右)在Novel View Extrapolation下的表现

视角鲁棒性问题是神经渲染的关键问题之一。拍摄的图片无法覆盖所有视角,当输出视角发生变化和拍摄视角有一定差异时,需要神经渲染有很好的泛化能力,支持新视角图片的生成。Object Drawer,提出RapNeRF技术,利用随机视角增强与平均视角embedding技术,改进了视角鲁棒性效果。

实验表明,随着视角差异的增大,NeRF等模型都出现了PSNR的大幅下降,而Object Drawer的结果,PSNR基本保持不变,case 分析可以看到视角差异很大的时候,Object Drawer也能够给出高清图像,很好的解决了这一问题。

7430594d125e0d75ff8c9187d2bc444f.png

拍摄视角与渲染视角示意,蓝色为拍摄视角,红色为渲染视角

295d211ad549cf3b9503f8b17e568986.png

视角差异度变化,PSNR变化

43c0f932803e8f638588f82578e69879.png

视角差异时渲染效果放大对比

三维模型表示

三维模型,需要能够支持各种三维应用,包括三维布局、渲染出图、三维互动等等。神经辐射场只能支持任意角度的渲染,使得应用受到很大的限制。

Object Drawer提出了将隐式表达与三维网格模型融合的解决方案。具体方案为,从隐式表达中提取模型的显式空间几何表达,建立mesh模型,并且通过texture mapping、材质识别等方法,形成可以应用于现有渲染引擎的三维粗模,三维粗模和神经网络共同表示一个商品。一方面,三维粗模可直接导入图形学工具,如标准高精CAD模型一般用于三维场景设计等现实应用。另一方面,神经渲染可以得到物体任意视角的高清渲染图。

f883eac7bb2ade2165e072606d78b4f9.png

22890e10b4bf064405131d14d0001107.png

三维粗模渲染

9a21dc9af42e2fdd11cef490a7965720.png

光照迁移效果

光照迁移

为了反应物理渲染作用于三维粗模的光照效果,如反射,阴影等,我们提出LighTNet, 将物理渲染反应在物体上的逼真光照效果迁移到神经渲染生成的物体视角图上。LighTNet以三维粗模PBR渲染得到粗糙shading、mask、depth等信息以及神经渲染结果为输入,预测相应的shading和神经渲染的修正值,修正后的shading和神经渲染可以通过本征融合得到具有光照效果的神经渲染结果;进一步用得到的带有光照效果的高清合成图替代物理渲染结果中的粗模投影可以实现逼真的场景渲染效果。在实验数据的结果表明,新方法能够适应各种复杂光源条件以及细节的阴影效果的迁移,视觉效果远超其他替代方案,在3D-FRONT测试数据集平均PSNR为30.17。

0e07082afe5c8a262b762465a7264086.png

光照迁移建模效果示意

纹理细节还原

对于商品三维模型来说,纹理细节还原度非常重要,通常需要达到照片级的还原才能支持实际渲染相关产品。目前的NeRF系列研究虽然可以较高精度的perserve物体appearance,但是无法恢复纹理细节,如布料线条。Object Drawer优化了模型表达,在大幅度加速模型训练时间的同时,第一次做到了高清精细纹理还原,具体的效果如图

0db9013d7f9ab2c0aaab9c06cdf3e1a1.png

原始拍摄图

a42116bb8c36da08ed0cc23f1ebc2d42.png

不同建模技术所产生的纹理细节对比

Object Drawer对神经辐射场技术进行了全面的改进和升级,实现了商品自动化高精度建模流程,并且支持电商商品模型应用,取得了很好的效果。相信不远的将来,Object Drawer将会推动商品三维模型覆盖率不断提升,为万物3D化带来可能,并加速XR相关技术应用的发展

点击“阅读原文”查看,我们将在12月份于官网发布建模测试接口。

写在最后

作为一名即将求职的程序员,面对一个可能跟近些年非常不同的 2019 年,你的就业机会和风口会出现在哪里?在这种新环境下,工作应该选择大厂还是小公司?已有几年工作经验的老兵,又应该如何保持和提升自身竞争力,转被动为主动?

就目前大环境来看,跳槽成功的难度比往年高很多。一个明显的感受:今年的面试,无论一面还是二面,都很考验Java程序员的技术功底。

最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java经典面试问题(含答案解析).pdf和一份网上搜集的“Java程序员面试笔试真题库.pdf”(实际上比预期多花了不少精力),包含分布式架构、高可扩展、高性能、高并发、Jvm性能调优、Spring,MyBatis,Nginx源码分析,Redis,ActiveMQ、Mycat、Netty、Kafka、Mysql、Zookeeper、Tomcat、Docker、Dubbo、Nginx等多个知识点高级进阶干货!

由于篇幅有限,为了方便大家观看,这里以图片的形式给大家展示部分的目录和答案截图!

Java经典面试问题(含答案解析)

阿里巴巴技术笔试心得

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友,可以点击这里获取

习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

需要这份系统化的资料的朋友,可以点击这里获取

  • 25
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值