如何从文本生成图像和视频？9个常用生成器一览！

AIGCer使用过部分文本生成图片和文本到视频的技术，生成的内容确实有可圈可点的地方，这些技术现在也改变了很多行业，今天给大家分享一篇相关的技术总结文章，都有哪些生成器？

文本到图像和文本到视频的AI生成模型是一种革命性技术，利用深度学习和自然语言处理（NLP）技术从文本描述中创建图像和视频。本文调查了文本到图像和文本到视频AI生成领域的前沿方法。调查提供了对现有文献的概述，以及对各种研究中使用的方法的分析。它涵盖了领域中使用的数据预处理技术、神经网络类型和评估指标。此外，本文讨论了文本到图像和文本到视频AI生成的挑战和局限性，以及未来的研究方向。总体而言，这些模型在视频制作、内容创作和数字营销等广泛应用方面具有很大的潜力。

介绍

近年来，深度学习和自然语言处理（NLP）技术的快速进步推动了AI文本到图像和AI文本到视频生成器的发展，这些生成器已成为一种先进而强大的工具，能够从文本描述中生成图像和视频。这些AI生成器利用先进而复杂的技术，如基于注意力的循环神经网络，生成对抗网络和变压器，来分析文本数据，从而生成相应的高质量图像或视频。

AI文本到图像和AI文本到视频生成器的动机在于推动内容创作过程的自动化，以更快、更有效的方式产生多样化的内容。这些系统在营销、教育和娱乐内容创作等不同领域都有潜在的应用。例如，在营销中，AI文本到图像生成器可以创建产品设计、目录和用户手册。在教育中，AI文本到视频生成器可用于创建教学视频和动画，以提高整体学习体验。在娱乐行业，AI文本到图像生成器和AI文本到视频生成器可用于创建电影推广视频、预告片等。总体而言，这些生成器旨在提升用户参与度并改善用户体验。

然而，随着AI文本到图像和AI文本到视频生成器的快速发展，存在一些限制和挑战。主要挑战之一是需要更大规模的高质量训练数据集，而获取和标记这样的大型数据集可能具有挑战性。另一个挑战是生成输出的可解释性不足，这使得难以理解生成的视觉内容背后的原理。此外，这些系统可能不总是与预期的信息或愿景相关联，导致生成输出中的错误和冲突。视觉质量与处理时间之间的权衡也是一个挑战，生成高质量的图像和视频可能具有计算成本高和速度慢的特点，使得快速生成大量内容变得困难。此外，生成的内容可能不总是符合社会或公共规范，导致对愿景信息的错误解读或错误呈现。在实际应用中，必须谨慎研究这些限制和缺点，以充分利用AI文本到图像和文本到视频生成器。

本文旨在概述AI文本到图像和文本到视频生成器的当前先进技术，主要是研究数据预处理技术、神经网络类型和在这两种生成器中使用的评估指标等底层技术。文章结构如下：第二节概述AI文本到图像生成器，包括流行的技术以及它们的能力比较。第三节探讨流行的AI文本到视频生成器，并对它们的能力进行比较。第四节对AI文本到图像和AI文本到视频生成器的当前先进技术进行分析。最后，第五节得出结论。

AI文本到图像生成器

AI文本到图像生成器是一种强大的工具，具备自然语言处理和计算机视觉能力，用于生成图像。让我们讨论一些流行的先进文本到图像生成器，如CogView2、DALL-E 2和Imagen。下表1提供了这些系统的详细信息。

CogView2

CogView2是一种AI文本到图像生成器，采用分层Transformer方法生成图像，通过文本描述生成图像。CogView2使用Cross-Modal通用语言模型（CogLM），这是一个预训练的6B参数Transformer，具有自监督任务，用于掩蔽和预测文本和图像tokens序列中各种类型的tokens。CogView2的分层设计允许通过首先生成低分辨率图像，然后通过迭代的超分辨率模块进行细化，该模块使用本地并行自回归生成，快速而高效地生成高分辨率图像。CogView2比CogView更快10倍，后者使用滑动窗口超分辨率，用于生成类似分辨率且质量更好的图像。此外，CogView2支持交互式文本引导图像编辑。

DALL-E 2

DALL-E 2 [10]是另一种先进的AI文本到图像生成器，它是在原始DALL-E模型取得成功的基础上由OpenAI构建的。DALL-E 2的主要思想是通过训练一个具有175B参数的大型Transformer模型来从文本输入中生成高分辨率（1024x1024）的图像，使其成为迄今为止训练最大的语言模型。与原始的DALL-E不同，后者使用简单的VQ-VAE架构进行图像生成，DALL-E 2使用了StyleGAN2架构，这是一种更强大的生成模型，可以生成更真实和多样化的图像。此外，DALL-E 2可以处理更复杂和多样化的文本提示，如问题或说明，并能生成更广泛范围的对象和场景。为了训练DALL-E 2，OpenAI收集了一个大规模的图像-文本配对数据集，并使用了一个多阶段训练过程，将大型文本语料库的预训练阶段与图像-文本数据集的微调阶段相结合。在推断过程中，给定文本提示，DALL-E 2以自回归的方式生成图像tokens序列，其中每个tokens表示最终图像的一个区块。最后，这些图像tokens通过StyleGAN2生成器传递，生成最终的高分辨率图像。DALL-E 2在生成与输入文本密切相关的高质量和多样化图像方面取得了令人印象深刻的结果。然而，它仍然受到自回归生成过程限制速度和可扩展性的影响，以及在大规模图像数据集上训练大型Transformer模型的高计算成本。

Imagen

Google Imagen [11]是一种结合了大型Transformer语言模型和扩散模型强大力量的AI文本到图像生成器，用于生成高质量的图像。它构建在一个大型冻结的T5-XXL编码器上，该编码器将输入文本编码为嵌入，并使用条件扩散模型将文本嵌入映射到64x64的图像中。此外，Imagen利用文本条件超分辨率扩散模型将图像从64x64上采样到256x256，再从256x256上采样到1024x1024。Imagen在COCO数据集上的FID分数和图像-文本对齐方面取得了最先进的结果，并在文本到图像模型的综合和具有挑战性的基准测试DrawBench上在与最近方法的比较中表现出色。Imagen发现，大规模语言模型，如T5，在对文本进行编码以进行图像合成的目的上可以非常高效。特别是当这些模型在仅文本的语料库上进行了预训练时，表明可以利用现有的语言模型进行图像生成任务。这允许生成的图像具有更高程度的逼真感和更深层次的语言理解。

正如上述讨论所示，这些流行的AI文本到图像生成器，如CogView2、DALL-E 2和Imagen，使用各种方法从文本输入中生成图像。CogView2使用基于层次Transformer的方法，使其能够快速而有效地创建高分辨率图像。DALL-E 2基于大规模Transformer语言模型，采用强大的StyleGAN2架构生成各种逼真的视觉效果。Imagen将扩散模型的强大力量与大型Transformer语言模型的能力相结合，以创建高质量的图像。这三者都具有产生与输入文本密切相关的各种高质量图像的能力，产生了出色的结果。

AI文本到视频生成器

AI文本到视频生成器近期引起了很大兴趣，因为它们有改变视频制作领域的潜力。借助这些生成器，用户可以快速轻松地创建高度个性化和有趣的视频材料。这些系统利用深度学习和自然语言处理的最新发展，从书面描述中生成影片。尽管早期的AI文本到视频生成器制作的视频质量和种类受到限制，但较新的改进在生成各种极为逼真的视频方面取得了令人鼓舞的结果。生成具有高一致性水平的视频以及对大量计算资源的需求是其中的两个限制。

下一部分将讨论最先进的AI文本到视频生成器，如Make-A-Video、Imagen Video、Phenaki、GODIVA和CogVideo，突出它们的优势、劣势和潜在用途。下面表2提供了这些模型的详细信息。

Make-A-Video

Make-A-Video是一种创新的方法，通过时空分解扩散模型将基于扩散的文本到图像（T2I）模型扩展到文本到视频（T2V）生成。通过利用联合文本图像先验，该方法消除了对成对文本视频数据的需求，使其有可能扩展到更大量的视频数据。首次提出了在空间和时间维度中都使用超分辨率策略，根据用户提供的文本输入生成高清晰度、高帧率的视频。Make-A-Video在现有的T2V系统上进行了全面评估，展示了在定量和定性措施上的最先进结果。这一评估超越了现有T2V领域的文献。

Imagen Video

Imagen Video利用冻结的T5文本编码器、基础视频扩散模型和交错的空间和时间超分辨率扩散模型来生成高质量视频。该系统已经扩展到以每秒24帧生成128帧1280x768的高清晰度视频。此外，该系统具有很高的可控性和世界知识，使其能够生成各种艺术风格的多样化视频和文本动画，以及对3D对象的理解。系统设计决策，如使用全卷积时空超分辨率模型和扩散模型的v参数化，有助于其成功表现。

Phenaki

Phenaki是Google的另一种高效且轻量级的模型，可以从简短的文本输入生成视频。然而，它仅限于简单的动作和运动，并缺乏细致的细节。Phenaki是一个文本到视频模型，可以根据开放领域提示和甚至叙述故事的提示序列生成长、时间上连贯且多样化的视频。为了实现这一目标，Phenaki引入了一种称为C-ViViT的新型编码器-解码器架构，该架构将视频压缩为离散的嵌入（tokens），并利用时间冗余性提高重建质量，同时压缩视频token的数量。该模型还使用变压器将由预训练语言模型T5X生成的文本嵌入转换为视频token。Phenaki在文本到视频和文本到图像数据集上进行了训练，并展示了在视频数据集中不可用的情况下的泛化能力。

CogVideo

CogVideo是一个大规模预训练的文本到视频生成模型，具有94亿参数，并在540万个文本视频对上进行了训练。该模型利用了预训练的文本到图像模型CogView2提供的基础，有效地利用了在文本图像预训练阶段获得的知识。该模型旨在从自然语言描述中生成高分辨率（480x480）的视频。为了确保文本与视频中的其时态对应，CogVideo使用多帧速率分层训练策略。这使得模型能够在生成过程中控制变化的强度，并显著提高了生成的准确性，尤其是对于复杂语义运动的情况。

GODIVA

GODIVA 是一种先进的文本到视频生成模型，采用了Transformer架构，经过在大规模文本语料库上的预训练。它能够以牺牲计算资源和大量训练数据需求为代价，生成具有增加模型容量的高质量视频。该模型包括一个VQ-VAE自编码器，经过训练以将连续视频像素表示为离散视频标记，以及一个使用语言输入和离散视频标记作为标签的3D稀疏注意力模型。此注意机制考虑了时间、列和行信息，以有效地生成视频。GODIVA在HowTo100M数据集上进行了预训练，在微调和零样本设置下展示了令人印象深刻的视频生成性能。

NUWA

NUWA 是一个统一的多模态预训练模型，专为视觉合成任务而设计，包括图像和视频的生成和操作。它是一个涵盖语言、图像和视频的三维Transformer编码器-解码器框架，适用于不同的视觉合成场景。编码器以文本或视觉草图作为输入，解码器由八个视觉合成任务共享。

为了减少计算复杂性并提高生成结果的视觉质量，NUWA采用了一种3D Nearby Attention (3DNA) 机制，考虑了时空轴的局部特征。3DNA允许NUWA高效处理高维度视觉数据，使其能够扩展到更大更复杂的视觉合成任务。

NUWA已在八个下游视觉合成任务上进行了评估，并与几个强基线进行了比较，在文本到图像生成、文本到视频生成、视频预测等方面取得了最先进的结果。它还展现了在文本引导的图像和视频操作任务上惊人的零样本能力，这意味着它可以在没有明确训练数据的情况下执行这些任务。

分析

AI文本到图像和文本到视频生成器的当前最先进技术已经取得了巨大突破。然而，仍然存在一些需要解决的挑战。

AI文本到图像生成器已经产生了高质量的图像，具有增加的多样性和逼真感，甚至有些模型提供了交互式文本引导的图像操作。不幸的是，这些生成器继续需要大量的计算资源，限制了它们的可扩展性和可访问性。此外，现有模型严重依赖预先存在的数据集，限制了它们在特定领域的适用性。未来的研究应该强调提高这些生成器的效率和可用性，以及它们在其他领域的适用性。

AI文本到视频生成器在创建非常逼真和定制的视频方面取得了优异的成果，但它们仍然面临在生成具有高一致性的视频方面以及对大量处理资源的需求方面的问题。最新的发展采用了大规模预训练语言模型和生成模型，如GAN和扩散模型，生成了高质量的视频，然而这些模型在计算上成本高昂并且存在扩展限制。未来的研究应该集中于创造新的方法，以增强生产过程并降低处理费用，使文本到视频生成器更易于访问和高效。

结论

本文简要介绍了不同类型的AI文本到图像和AI文本到视频生成器。AI文本到图像和AI文本到视频生成器的未来似乎光明。在这些领域持续的研究和发展可能会导致更高效、更强大、更易于访问的系统，这些系统可以彻底改变用户生成和与数字内容交互的方式。由于它们能够从文本描述中创建高质量的图像和视频，AI文本到图像和AI文本到视频生成器有潜力在各行各业引入创造力和生产力的新时代。因此，它们无疑将在未来几年保持为研究和开发的活跃领域。

参考文献：

[1] A Survey of AI Text-to-Image and AI Text-to-Video Generators

原文链接：https://arxiv.org/pdf/2311.06329