Web ML+ WebAssembly 支持实现 Google Meet 背景模糊功能

最新推荐文章于 2024-09-17 23:15:58 发布

LiveVideoStack_

最新推荐文章于 2024-09-17 23:15:58 发布

阅读量912

点赞数

文章标签： python java 大数据人工智能机器学习

本文链接：https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/109684983

版权

Google Meet利用Web ML、MediaPipe和WebAssembly实现在浏览器中的实时背景模糊和替换功能。借助开源框架MediaPipe和高效的WebAssembly技术，确保在各种设备上的实时性能，提供低功耗解决方案。通过轻量级ML模型和OpenGL渲染，实现背景处理的高效率和低延迟，同时保证了在不同设备上的性能表现和用户体验。

摘要由CSDN通过智能技术生成

正文字数：2584 阅读时长：4分钟

从 mmhmm、腾讯会议、Zoom 到 Google Meet，背景模糊和特效已经成为视频会议或直播的一项标配。Google Meet团队通过 Web ML，MediaPipe和 WebAssembly技术，在浏览器中实现了高性能的实时背景处理功能。在12月11-13日的LiveVideoStackCon 美国旧金山站的线上大会上，Google研究院资深研究软件工程师汪启扉也将会带来有关MediaPipe、ML Kit、TFLite等性能优化与开发经验的分享（https://sfo2020.livevideostack.cn/）。

文 / Google研究院软件工程师，Tingbo Hou & Tyler Mullen

译者 / Alpha

技术审校：斗鱼前端专家，王兴伟

原文 /https://ai.googleblog.com/2020/10/background-features-in-google-meet.html

在人们的工作和生活中，视频会议变得越来越重要。我们可以通过增强隐私保护，或者添加有趣的视觉效果来改善视频体验，同时帮助人们将注意力集中在会议内容上。我们最近宣布的在Google Meet中模糊和替换背景的方法，就是为了实现这一目标而迈出的一小步。

我们利用机器学习（ML）来更好地突出参与者，从而忽略他们周围的背景环境。尽管其他的解决方案需要安装额外的软件，但Meet的功能是由尖端的Web ML技术提供支持的，这些技术是用MediaPipe构建的，可以直接在你的浏览器中工作——不需要额外的步骤。

开发这些功能，有一个关键目标，即它可以给几乎所有现代设备提供实时的浏览器内性能，通过XNNPACK和TFLite，我们将高效的设备上ML模型、基于WebGL的效果渲染，还有基于Web的ML推理结合起来，进而实现了这一目标。