技术分享| anyRTC音视频混流技术解析

一，简介

在视频通讯场景中，比如会议、直播等经常能看到图像合成的场景。图像合成是在指定的一块画面区域，在这个区域内，按画面的位置(坐标)布局，将区域中的每个视频画面的像素混合计算成一个像素（RGB）。比如以下是anyRTC的H323合成画面：

二，图像合成

如图所示，一幅图像或画面是由很多图层叠加而成的，而图层通常分为背景层和叠加层，基于图层可以叠加成需要的画面布局。在计算机上一幅图像的显示大多数是以RGB的颜色标准，对于图像的合成本质上是在每个像素上进行RGB颜色值进行叠加。

背景图层就是通常意义上的画布，他限定了画面合成的范围区域，在背景图层分辨率范围之外的图像画面是不能被合成的，通常会使用纯色画布来充当背景图层，当然也可以使用图像作为背景填充。

叠加图层顾名思义就是在背景图层上进行画面叠加，每一个叠加图层都会根据设定的位置参数叠加到在背景图层之上一块对应区域。从原理上来说，叠加图层作单独来看，其也是由背景图层和叠加图层组合而成。混流区域内的RGB像素颜色值，是根据其位置上所有图层（包括背景图层和叠加图层）对应的颜色值，按规则计算出来。
在对图像进行合成之前，需要先将图层的布局合理安排，以免出现图层遮挡、位置偏移、超出背景范围、色值偏差等问题。