论文笔记（六）【Glow: Generative Flow with Invertible 1 x 1 Convolutions】

论文地址：glow

终于开始总结流模型的最终成熟版--glow。数学原理跟NICE和RealNVP基本一致，主要是在网络模型上进行了优化。

一、论文概述

1、摘要部分指出了流模型吸引人的地方，对对数似然精确的计算和潜在变量精确的推断，以及训练和合成的并行性。glow模型在之前流模型的基础上采用了可逆的1 x 1卷积核对输入数据进行打乱，简化了网络模型。

2、在背景知识介绍上，主要介绍了流模型背后的数学原理，通过选取三角矩阵简化对雅克比行列式求值的难度。具体可以参考关于流模型的第一篇博客NICE。

3、在第三部分具体介绍glow模型，单步流的第一步是Actnorm层，通过Acrnorm层对数据进行规范化处理，采用每个通道的缩放和偏差参数进行激活，使得小批量的数据在激活后具有零均值和单位方差，而且这两个参数可以进行训练。相当于对数据进行了预处理，避免网络性能的下降。

第二步是可逆的1x1卷积核，目的是采用矩阵乘法实现对各个维度数据的打乱，使信息混合得更加充分，同时采用1x1的卷积核使得参数矩阵可以训练。在其中还涉及到LU分解，使得计算更加方便。

第三步是仿射变换层，训练得出可逆的函数。

整体框架采取了RealNVP的多尺度结构。