淘系技术虚拟AI技术创新未来，斩获IJCAI2024 Video Competition Award

• 文本转语音

首先利用TTS技术得到文字对应的语音，输入的文本经过带注意力机制的Encoder-Decoder网络模型，并利用带残差模块的空洞卷积神经网络模型，将梅尔频谱特征表达逆变换为时域波形样本合成最终的语音，实现清晰流畅的语音生成。

• 语音驱动面部五官

驱动视频的算法模型如下图：

首先利用wav2lip方案，将生成的语音作为嘴部驱动的音频A，并利用一段视频序列B作为脸部动作和头部姿态控制源，该视频的身份可任意。同时，利用image animation方法，驱动特定模特进行口播。该方案有效的解决了音频驱动脸部运动的姿态可控和真实性问题，使得虚拟代言由静态展示演变为动态口播，更具感官性。

虚拟代言使得电商经营者能够一键免费请虚拟明星给自己的商品代言成为了可能，极大的降低了经营者的原始投入。

虚拟直播间——沉浸式 3D 直播，主播想在哪播在哪播

同时，淘系技术正在开发一种全新的3D扩展现实的直播拍摄技术，将一系列的实时渲染、云渲染和AI技术组合，推出全球首款可以影视级虚拟拍摄的云技术，让客户和商家，首次在普通手机和电脑上就可以实现令人惊叹的3D影视级视觉效果，商家将不再需要购买昂贵的设备，掌握专业的职能，就可以轻松、低价且高效的在直播中扩展现实，生成虚拟的商品、场景、数字人等，全面提升了商家在直播电商、内容电商中的带货能力和内容创作能力。

▐  满足商业影视级的效果要求

区别于娱乐型APP的端上小型AR技术，面对电商商业拍摄所需的影视级、广告级的MR拍摄严苛要求，该项新技术，突破传统3D模型素材大小的约束（通常只能几MB），也不再局限于使用小型的AI模型，本项技术以先进的边缘计算、云渲染技术，采用数十GB的3D素材，大型更精准的AI模型，借助在云端顶级的GPU算力，支撑起商业标准的MR拍摄。在达到影视级效果的同时，依然能达到传统小AR的实时互动性；

▐  国民易用的体验

区别于传统影视行业，新技术以AI新能力和优秀产品的交互体验，让商家的日播脱离对好莱坞式专业设备、专业团队的依赖；

也区别于传统影视拍摄的冗长周期的离线渲染和人工后期合作，该项新技术支持实时交互、实时渲染、实时创作、实时直播与分发。

在这项技术中，SLAM、VIO和人体动捕等AI技术，被用来重新定义圣殿之上影视级特效的拍摄门槛，成为商家日常开播的易用技术、让其成为真正的国民易用产品。

传统的特效合成师、专业策划、导演、专业灯光师、专业摄像师、动画师、音效师、调色师等的很多重复性工作，正在被这些AI技术和云化技术所替代。

特效灯光、渲染工作站、摄像机、特技等专业设备，也正在被这些技术逐步取代。在场地要求、设备成本、易用性3个方面，正在全面接近现有直播的标准，已经成为一款真正的国民普适易用型的技术；

▐  创新与创作生态繁荣

大量云化3D拍摄素材库、场景库，使得电商的经营者，解脱了拍摄策划、3D创作的困扰，云素材、云创作手法信手拈来，随时开拍。同时我们尊重，也正积极的鼓励和期待传统影级、传统游戏行业生态伙伴和艺术大师的进入，来创新与创作，丰富繁荣直播电商和内容电商的内容创作形式和艺术表现手法。

虚拟家居——秒级生成100个你家的样子

与此同时，淘系技术团队不断尝试和探索，将AI和VR等技术尝试应用在更多行业，推出了中国首款完全自研的免费电商渲染引擎：AceRay。

AceRay应用了业界最顶尖的渲染技术，基于阿里云的基础设施能力，通过躺平设计家平台为室内设计用户提供免费的渲染服务。

AceRay可以在几秒内用光线追踪技术渲染出一幅真实的图像，借助这项技术，我们可以极大的提高设计师的设计效率。通过AceRay提供的低成本渲染技术，电商领域的3D技术大规模应用将成为可能。

在这里边，淘系技术部自研的3D智能设计技术,可以帮助消费者进行智能的室内装修设计。消费者只需围绕自己喜欢的一件家具，用手机拍摄一个短视频，3D智能设计基于AI深度学习技术、3D技术、实时渲染技术，就能完成对该件家具的3D建模。

有了3D模型之后，通过利用深度序列生成技术，3D智能设计会围绕该3D模型进行全屋的软硬装室内搭配设计。不仅考虑了单空间(比如客厅)软硬装搭配的协调性（如下图），该技术同时兼顾了不同空间(如客厅与卧室)软硬装搭配的协调性，从而产出能与设计师媲美的设计效果，大幅提升设计效率，最终通过短视频的形式将未来家的样子呈现给消费者。

这项技术，将复杂的需要专业设计师参与才能完成的装修方案设计，简化成了消费者只需挑选一件自己喜欢的家具就能自助完成。不管是线上还是线下，消费者一旦喜欢某件家具，就可以借助该技术，完成装修设计，并最终看到整体效果。消费者在购物决策过程中，不再需要考虑尺寸是否合适、怎样搭配才好看等购物难题，极大提升了购物体验，同时让人人都是设计师成为了可能。

对于电商经营者而言，为了更好的呈现其所售卖的商品，需要投入巨大成本进行精美的数字内容制作，比如：精美的商品展示图、能够360度呈现商品全貌的短视频等，有了3D智能设计，电商经营者只需用手机围绕其所售卖的商品拍摄一个短视频，3D智能设计就能完成商品展示图、短视频等多种精美的数字内容的创作，从而极大降低商家成本。

结尾

阿里巴巴淘系技术自研的虚拟AI技术，在日趋激烈的商业竞争环境中，通过数字化赋能提高商家数字化经营能力，用先进的AI技术帮助千百万商家降本增效，积极引领着一场电商场景的新革命，让技术的创新和进步普惠商家。

视频作者：李朝、胡始昌、林超、于磊、崔銘峻、钱虔、张鹏、向辰瀚、贾荣飞、李操、胡晓航、朱莉绢、徐曦、赵磊、汤兴

淘系技术 IJCAI 参赛视频

✿  拓展阅读

作者**|淘系技术**

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

2021年Java中高级面试必备知识点总结

在这个部分总结了2019年到目前为止Java常见面试问题，取其面试核心编写成这份文档笔记，从中分析面试官的心理，摸清面试官的“套路”，可以说搞定90%以上的Java中高级面试没一点难度。

本节总结的内容涵盖了：消息队列、Redis缓存、分库分表、读写分离、设计高并发系统、分布式系统、高可用系统、SpringCloud微服务架构等一系列互联网主流高级技术的知识点。

目录：

（上述只是一个整体目录大纲，每个点里面都有如下所示的详细内容，从面试问题——分析面试官心理——剖析面试题——完美解答的一个过程）

部分内容：

对于每一个做技术的来说，学习是不能停止的，小编把2019年到目前为止Java的核心知识提炼出来了，无论你现在是处于什么阶段，如你所见，这份文档的内容无论是对于你找面试工作还是提升技术广度深度都是完美的。

不想被后浪淘汰的话，赶紧搞起来吧，高清完整版一共是888页，需要的话可以点赞+关注
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
么阶段，如你所见，这份文档的内容无论是对于你找面试工作还是提升技术广度深度都是完美的。

不想被后浪淘汰的话，赶紧搞起来吧，高清完整版一共是888页，需要的话可以点赞+关注
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！