音视频技术开发周刊 | 148

每周一期，纵览音视频技术领域的干货和新闻投稿：contribute@livevideostack.com。

架构

腾讯云低延时直播系统架构设计与弱网优化实践

“直播带货”可能是2020年最具代表性的词汇之一，那么传统电商该如何融合直播系统，直播过程如何保障用户的最佳观看体验？本文由腾讯云资深架构师何书照在LiveVideoStack线上分享中的内容整理而成，详解了大规模、低延时电商直播系统架构设计以及电商直播的难点、技术挑战与突破。

https://mp.weixin.qq.com/s/oBPR1sv3QHtEMjqWAITWWA

面向新手的 WebRTC：术语及其工作原理概述

WebRTC是Web实时通信的缩写。这是一种低延迟技术，使用JavaScript api访问计算机的摄像头和麦克风，从而使媒体能够在两个对等点之间直接来回发送。使用WebRTC，你可以通过浏览器(如Chrome或Firefox)直播流，而无需使用插件或应用(如Zoom)。由于WebRTC传输数据只需几毫秒，因此它非常适合视频聊天等交互式用例。

https://www.wowza.com/blog/webrtc-terminology-and-how-it-works

建立自己的Slack

聊天和视频会议应用程序淹没了世界。Slack，Microsoft Teams，Zoom，Google Meet，Facebook Rooms等应用程序（不断增加）越来越受欢迎。

https://medium.com/@gjovanov/building-your-own-slack-54874bf5fd7a

传输网络

基于QUIC的下一代HTTP协议

HTTP/3是当前正在开发的下一HTTP协议版本，现在正由IETF QUIC工作组进行开发。HTTP/3的开发旨在改进HTTP/2仍存在的一些缺点，其改动主要是在传输层上进行优化。与之前的HTTP协议不同，HTTP/3不再使用TCP作为主要协议，转而使用了由Google提出的QUIC。

https://mp.weixin.qq.com/s/xbHeOEGEjveC7fCxUcJvSA

HESP协议

现在的网络视频在爆炸性增长，用户对于视频的要求也水涨船高，但目前的OTT视频分发却要在低延迟，大规模和观众体验等几个方面进行折衷，无法兼顾，只能给出次优的视频传输方案。我们下一代的传输协议可以不再做折衷。

https://mp.weixin.qq.com/s/RgJ8y8up9XK1wntQGvtOVA

互动直播中的前端技术 -- 即时通讯

在这全民互动直播的时期，网易云音乐前端团队和我们一起来聊聊互动直播中的即时通讯技术在前端中的使用。

https://juejin.im/post/5edd963ff265da76ee1f5b18

与 Insertable Streams 和 E2EE（ SFrame ）

Janus + Insertable Streams + SFrame = Lorenzo 大神隔离太久的结果

https://www.meetecho.com/blog/janus-e2ee-sframe/

亚马逊发布 Chime 白板 SDK，带数据消息的实时信令白板

Amazon Chime提供了托管中继服务器和信号通道，使在各种网络环境中启动视频会议变得容易。新特性利用该信令的托管通信路径来允许交换任意数据消息。因此，开发人员可以很容易地将共享白板之类的东西添加到他们的视频会议系统中，而无需提供消息传递服务器。

https://medium.com/@dannadori/amazon-chime-sdk-whiteboard-with-data-messages-for-real-time-signaling-c0740575a6c0

PCC Vivace: Online-Learning Congestion Control

PCC Vivace结合了一篇2015年NSDI的PCC[1]的基本框架，以及机器学习中online convex optimization的原理[2]，通过调整发送端速率的调整方向、调整步长和调整阈值，来解决网络的拥塞控制问题。 

https://www.jianshu.com/p/82b8f780c548

编解码

百度BD265编码器初体验：更快更省更AI

本次访谈介绍百度在视频解码器技术上的一些进展，重点介绍百度如何结合AI技术打造BD265编码器，以及百度BD265编码器在业务落地上的一些实战经验。

https://mp.weixin.qq.com/s/xapzbnjJqz_EZFJY_WHCOA

AV1的实时模式

不久前，Google Duo宣布将全面转向AV1。相比于VP9，AV1能够带来更好的编码效率，为用户提供更好的视频体验。本文来自Google软件工程师 姜健在LiveVideoStack线上分享的内容。

https://mp.weixin.qq.com/s/JVkADQaFmTOD7_g90XFoMg

HLS+FMP4方案对H.265+AAC支持要点

2017年的苹果WWDC大会上，苹果宣布HEVC支持HLS，涉及了iOS、MacOS和tvOS等系统终端。苹果之所以乐意这个事情，首先HLS就是他们家的，近些年一直把HLS致力于推成Web标准，其次苹果手握大量H.265的专利，也不想谷歌的AOM对应的VP9标准一家独大,HLS虽然延时有些大，但不可否认的，目前HLS是跨平台做的最好的协议。

https://mp.weixin.qq.com/s/3uWUJNSZ9IHdKDCd_pv6SA

如何通过Jupyter Notebook在浏览器上做视频编码

Jupyter Notebook是一个功能强大的Web应用程序，可在一个地方提供可共享的工作空间，其中包含实时代码（Python，Shell，JavaScript，HTML…），数据可视化和文档。它已被数据科学和机器学习社区广泛采用。人们将其用于原型设计，协作，项目演示，数据分析和处理等等。

https://medium.com/@jina.liu/encode-videos-from-your-browser-with-jupyter-notebook-d27e516e02ae

开源编解码器 SOLO 源码解读：带宽扩展与窄带编码

声网 Agora 在 2019 年 10 月 24 日，正式对所有开发者开源自研的抗丢包音频编解码器 SOLO。该编解码器适用于需要实时音频交互的场景，特别针对弱网对抗进行了优化，并且在相同弱网环境下 MOS 分优于 Opus。SOLO 可应用于各类 RTC 应用，并且可不与 Agora SDK 绑定使用。本文将从源码角度解读 SOLO 的带宽扩展与窄带编码。

https://mp.weixin.qq.com/s/HAZ91HD-2Y99xgJG1Da_5Q

MPEG-5 EVC重新启动的视频编解码器战争

随着AV1编解码器在软件和在线服务中悄然普及，新的视频编解码器并没有带来麻烦。今年5月，三星、华为和高通宣布支持MPEG-5核心视频编码(EVC)，这是HEVC/H.265的另一种选择。

https://www.macg.co/logiciels/2020/06/la-guerre-des-codecs-video-relancee-par-le-mpeg-5-evc-114437

视频技术

云媒体处理中的创新：VOD工作流程的新解决方案

本文是streaming media的演讲，演讲者是Jeff Malkin和Eric Schumacher-Rasmussen，前者是Encoding.com的总裁，后者是Streaming media的副总裁兼编辑。演讲主题是云媒体处理中的创新：VOD工作流程的新解决方案。

https://mp.weixin.qq.com/s/_XshYdfmPTuZK8YCFrT1rw

AI智能

CVPR 2020丨动态卷积：自适应调整卷积参数，显著提升模型表达能力

轻量级卷积神经网络能够在较低的计算预算下运行，却也牺牲了模型性能和表达能力。对此，微软 AI 认知服务团队提出了动态卷积，与传统的静态卷积（每层单个卷积核）相比，根据注意力动态叠加多个卷积核不仅显著提升了表达能力，额外的计算成本也很小，因而对高效的 CNN 更加友好，同时可以容易地整合入现有 CNN 架构中。

https://mp.weixin.qq.com/s/eRZ3jNuceMYKE3lEj-g1aw

高糊图片可以做什么？Goodfellow等人用它生成一组合理图像

给出一张低分辨率图像，你可以用它做什么，用机器学习方法将它尽量恢复原貌？除此之外呢？近日，谷歌 David Berthelot、Peyman Milanfar，以及 Goodfellow 提出了一种名为 LAG 的生成器，可以基于一张低分辨率图像生成一组合理的高分辨率图像。

https://mp.weixin.qq.com/s/vSFocmAo6iVl7oNN91T1jQ

图像

又想骗我换新 iPhone：苹果集体照合成专利曝光，一键制造「在场证明」

即使身处地球的不同角落，只要启动手机摄像头，所有人就能获得一张「合影」照片。苹果的新技术让物理距离从此不再「遥不可及」。

https://mp.weixin.qq.com/s/6uJ8_QpilbiiJ3otjrUiZw

资源推荐

SRS多进程

SRS定位是运营级的互联网直播服务器集群，追求更好的概念完整性和最简单实现的代码。

Python小工具：利用ffmpy3库3秒钟将视频转换为音频

ffmpy3 是 ffmpy 的一个分支，它是一个简单的 FFmpeg 命令行包装程序。ffmpy 实现了一个 Pythonic 接口，用于通过命令行执行 FFmpeg，并使用 Python 的子进程模块进行同步执行。使用 Python 的 asyncio.subprocess 模块也支持异步执行。

活动推荐

今晚7:30，我们邀请到百度智能云RTC产品技术负责人李永兴分享WebRTC服务端工程实践，详细介绍如何使用开源SFU构建RTC云服务以及遇到的难点与突破。

1. 分析现有开源SFU在分布式部署方面的不足；

2. 单端口方案的必要性及实现；

3. 信令分离的必要性及实现；

4. SFU级联relay私有协议的必要性及实现；

5. RTC云服务的其他模块，包括混流器，接入网关等

点击“阅读原文”可查看更多详细信息，请大家科学上网。