[AV1] Frame and tile

返回专栏目录

Frame 帧

在AV1中，一帧（Frame）是由灰度成分（Luma）和色度成分（Chroma）组成，其中，色度成分由U和V组成，我们使用的最多的是YUV420格式，关于AV1对于数字分量的支持如下表所示：

既然是YUV420格式，那U和V分量就各是Y分量经过垂直和水平抽样后得到的分量，数量各是Y的1/4，所以，一张1920x1080p的帧，其实际大小示意如下：

在实际编码（预测编码）的时候，会因为预测sample的不存在而在一帧的四周填充（padding）一些像素，从而衍生出了一个stride的概念，关于这个概念，请参考 Image Stride，这里有详细的介绍。

在AV1中，帧类型一共分为四种，分别为

• KEY_FRAME
• INTER_FRAME
• INTRA_ONLY_FRAME
• S_FRAME

在FRAME_TYPE的枚举中定义。

enum {
  KEY_FRAME = 0,
  INTER_FRAME = 1,
  INTRA_ONLY_FRAME = 2,  // replaces intra-only
  S_FRAME = 3,
  FRAME_TYPES,
} UENUM1BYTE(FRAME_TYPE);

Tile

一帧可以被切割为一个一个的tile，tile是矩形的，在编码的时候可以单独处理，tile之间不互相参考，不互相影响编码（环内滤波部分除外），所以tile的存在就是为了使得编解码器能够并行地对一帧进行编解码，从而提高效率。

上图是一帧Tile的划分实例，tile的大小并不是一定是要互相相等的，如果uniform_tile_spacing_flag等于1，就意味着所有的tile都是同样的大小（出去最右边一列与最底下一行因为帧宽/长可能不是tile宽/长的整数倍而导致无法和其他tile有相同的尺寸），如果uniform_tile_spacing_flag等于0，那就意味着tile的大小不一，那么每个tile的size就需要单独进行传送。