video pixel networks阅读笔记

一、模型结构

本文定义了一个由VPN(video pixel networks)来执行的概率模型。

 表示第t帧（i, j）位置上c颜色通道（{R, G, B}）的像素值。通过链式法则将视频似然函数p（x）因式分解，表示为一个条件概率的乘积，在没有独立性假设时也可以用一种容易处理的方式进行建模。

确定因子分析中的变量顺序遵从两个准则。第一个是根据数据的特性和对数据的使用来确定；预测视频帧的顺序就根据这种时间的顺序。第二个是以能够高效计算为目的来确定顺序；比如，预测像素时从左上角到右下角。另外，对颜色的预测顺序为R，G，B。

二、网络结构

VPN模型直接对四个维度（t,i,j,c）进行建模。由上图可知，例如对G中第t帧的像素x进行预测时，需要参考：

（1）t帧之前所有帧的所有像素；

（2）第t帧中已经预测得到的所有3种颜色的像素；

（3）第t帧中已经生成的R中的像素x。

（1）Resolution Preserving CNN Encoders

作用：用来计算一个video tensor（即 X(t,i,j,c））的时