【资源记录】Invertible Neural Networks 可逆神经网络是什么，与VAE，GAN的关系；什么是Bits per pixel，Bits per dim

INN

两个很好的讲解视频：

https://www.youtube.com/watch?v=WqP45Iyvd3o 这里的讲者是Analyzing Inverse Problems with Invertible Neural Networks的作者。这文章很适合入门了解INN的概念。

https://www.youtube.com/watch?v=IpbeIwSr7r0 这个是比较综述的，涉及很多文章的内容。其中，我觉得比较值得细看的是 NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION，DENSITY ESTIMATION USING REAL NVP。

 

BPP

另外，在NICE文章中，我看的时候并不知道bits per pixel（bpp）是什么。一查才知道这是评价generative model很重要的指标。详细描述在这篇文章的3.1: A NOTE ON THE EVALUATION OF GENERATIVE MODELS https://arxiv.org/pdf/1511.01844.pdf（有很多不错的概念）。简而言之，就是用一个training set训练generative model之后，用model去求一个test set中X的P(X)，然后取log得到log likelihood。然后根据香农信息论 里的信息量 = -log(p(x))，我们可以定义bits per pixel 就是这个信息量除以一个总pixels/channel的 数量（一个常数）。具体这个常数，定义上似乎有些复杂，有些讨论可以看：

https://www.reddit.com/r/MachineLearning/comments/56m5o2/discussion_calculation_of_bitsdims/

https://stats.stackexchange.com/questions/423120/what-is-bits-per-dimension-bits-dim-exactly-in-pixel-cnn-papers

https://www.tutorialspoint.com/dip/concept_of_bits_per_pixel.htm

总而言之，对于一个generative model，log-likelihood higher value is better and bits-per-dimension (BPD) lower value is better。