NEURAL NETWORK BASED INTER PREDICTION FOR HEVC
HEVC中的Inter预测只使用了时域信息,没有参考空域信息。作者提出一种网络结构NNIP(neural network based inter prediction)使用时域和空域进行提高Inter的质量,包含两个网络,一个全连接网络(FCN),一个卷积网络(CNN)。时域信息和空域信息作为FCN的输入,FCN的输出和经过Inter预测后的块作为CNN的输入,输出加强后的预测块。实验结果显示集成到HM16.。9,在low delay P配置下,能达到平均1.7%(最高为8.6%)的码率减少。
网络结构:
FCN
FCN的输入是时域临近像素T和空域临近像素S。如下图所示:
用Y表示FCN的输入,则网络表示如下图所示:
W是权重,B是bias,f是PReLU函数。第一层是 4 N L + 2 L 2 4NL+2L^{2} 4NL+2L