AIGC实战——像素卷积神经网络(PixelCNN)

0. 前言

像素卷积神经网络 (Pixel Convolutional Neural Network, PixelCNN) 是于 2016 年提出的一种图像生成模型，其根据前面的像素预测下一个像素的概率来逐像素地生成图像，模型可以通过自回归的方式进行训练以生成图像。在本节中，将使用 Keras 实现 PixelCNN 模型并将其应用于图像数据生成中。

1. PixelCNN 工作原理

为了理解 PixelCNN，我们需要介绍两个关键技术：掩码卷积层 (Masked Convolutional Layer) 和残差块 (Residual Block)。

1.1 掩码卷积层

我们已经知道，卷积层可以通过应用一系列卷积核从图像中提取特征。在特定像素点处，卷积层的输出是卷积核权重与以该像素为中心的区域上的值的加权和。通过应用一系列卷积层可以检测到图像中的边缘、纹理以及在更深层的形状和高级特征。
虽然卷积层在特征检测中十分有效，但无法直接用于自回归模型，因为像素之间没有明确的顺序关系。在图像中所有像素均会被平等对待，没有像素会被视为图像的起始或结束点，这与文本数据不同，文本数据中的符号具有明确的顺序性，因此可以方便地应用循环模型，如长短期记忆网络 (Long Short-Term Memory Network, LSTM