PaperNotes(12)-Autoregressive Quantile networks for generative modeling

3 autoregressive implicit quantiles

autoregressive：自身做回归变量，用之前若干时刻的随机变量 来建模 之后某些时刻 随机变量的模型。

N维随机变量的IQN建模 ：

n维随机变量：$X=(X_1,...,X_n)\in {\mathcal{X}}_1\times ,...,\times {\mathcal{X}}_n=\mathcal{X}$ ，基于IQN 两个简单应用：

方式1– 假设X的各个维度是comonotonic，其联合分位数函数可以表示为：
$$F_X^{-1}(\tau )=(F_{X_1}^{-1}(\tau ),...,F_{X_n}^{-1}(\tau ))$$

即每个维度使用相同的$\tau$值。

方式2–假设X的各个维度是相互独立的，每个$X_i$使用不同的${\tau }_i$,但是联合分位数该怎么写没有表示出来。

以上两种假设都太强了，并不适用于图像生成领域。下面开始介绍AIQN方法，图像的概率密度$p_X$采用和PixleCNN 中一样的条件似然的乘积建模，那么联合的累积分布函数可以表示为下式：
$$p_X(x)=\prod _{i=1}^n{p}_{X_{\sigma (i)}}(x_{\sigma (i)}|x_{\sigma (1)},...,x_{\sigma (i-1)})$$

$$\begin{gathered} F_X(x)=P(X_1<x_1,....,X_n<x_n) \\ =\prod _{i=1}^n{F}_{X_i|X_{i-1},...,X_1}(x_i) \end{gathered}$$

此时联合分位点和联合分位数分别为：
$${\tau }_{joint}=\prod _{i=1}^n{\tau }_i$$

$$F_X^{-1}({\tau }_{joint})=(F_X^{-1}({\tau }_1),...,F_{X_n|X_{n-1}}^{-1}({\tau }_n))$$

整张图像的联合分位数$F_X^{-1}({\tau }_{joint})$ 可以分解为各个像素位置分位数的联合表示。所以可以逐像素的使用分位数回归，来 训练生成模型。