几个相关语法元素
- base mode flag:指明一种宏块类型。1表示当前宏块(enhancement layer中)只编码残差信息,帧内编码模式或运动相关信息都有相应的参考层中块推导出来。EL中的宏块无论inter还是intra都可以base mode flag=1。
- motion prediction flag: 作用于宏块中每个partition的reference list,指明reference index、motion vector prediction是否由reference layer中相应的块推导出来。
- residual prediction flag:只要当前宏块是inter,无论base mode flag是否为1,都可以采用下述第二种inter-layer prediction。
三种层间预测模式:
1 Inter-Layer Motion Prediction
base mode flag为1,且相应的参考层中的8x8块是帧间编码。Block partition信息、reference index、motion vectors由reference layer中相应的8x8块推导出来。此时block partition信息由reference layer中相应的8x8块的partition信息上采样得到。同时得到与partition相应的reference index、motion vectors(需要先被scale)。
base mode flag为0时,还可以有一种对motion的interlayer prediction,开关为motion prediction flag:
- motion prediction flag为1,则与此reference list相关的reference index、motion vector prediciton由reference layer中相应的块推导出来。这里与base mode flag为1时有点区别,这里只是MVP由reference layer推导出来,所以EL还要传送MVD。别忘了motion vectors需要被scale。
- motion prediction flag为0,传统的帧间宏块。
2 Inter-layer Residual Prediction
在enhencement layer中的inter-coded宏块,无论是采用base mode flag还是传统的帧间宏块,都可以采用这一方式。
residual prediction flag为1,则reference layer中相应的8x8块的残差经过bilinear上采样,作为enhencement layer宏块的残差预测,enhencement layer中传送“残差的残差”。需要注意的是这里的上采样不要跨越reference layer的变换块边界,否则会降低视觉效果,具体的处理办法是对边界进行重复外拓。
3 Inter-layer Intra-prediction(Texture Prediction)
base mode flag为1,且相应的reference layer中的8x8块是帧内编码。
参考层中的4x4块(4个)被重构,经过去块滤波操作后上采样得到预测信号。亮度上采样采用的是4-tap的FIR滤波器,色度上采样采用的是bilinear滤波器。而后,ehencement layer传送残差系数,经反变换后加到预测信号上。
在upsampling之前,需要对reference layer的重构信息进行去块滤波。
为了保证sigle loop的解码,需要避免在reference layer进行motion compensation,即Constrained Inter-layer Intra-prediction。
下图说明的是upsampling