Datawhale AI夏令营第四期 AIGC方向 Task02笔记

AIGC(AI-Generated Content)是通过人工智能技术自动生成内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相关行业和领域生产内容的方式。

AI生成图片的快速发展，使诸多领域措手不及，如：摄影、美术等艺术领域正在面临前所未有的颠覆。

所有人来说，定期关注AI生图的最新能力情况都十分重要：

• 对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图

• 对于创作者来说，通过AI生图的工具可以提效，快速制作自己所需要的内容

• 对于技术人来说，了解AI生图的能力的玩法，可以更好地针对自己的业务进行开发和使用，甚至攻克难题开发更实用的工具。

 从22年开始，AI生图步入大众视野，让各个领域无法忽视。但是AI制图的缺点也让人无法忘却，最早的几张AI图片无法将人的手画好，以及一些吃面用手抓的槽点。

原因在于，AI生图模型获得图片生成能力主要是通过 学习 图片描述 以及 图片特征，尝试将这两者进行一一对应，存储在自己的记忆里。

在我们需要的时候，通过输入的文字，复现出来对应的图片特征，从而生成了我们需要的图片。

关于AI是否真正理解了图片背后所代表的世界的特征，是否理解了图片的含义，这个一直是科研界和产业界存在争议的话题，我们唯一可以确定的是——

由于每个模型用于训练的数据是有限的且不一定相同的，它们能匹配的描述和特征也是有限的，所以在风格、具体事物上，不同的模型会有很大的生成差异，且可能存在诸多与现实不符的情况。

而这些问题，就是业界和科研界持续在想办法解决的问题。

 目前，本人有幸接触到了利用AI来制作图片的机会，经过几天的练习，本人大概也了解了大致有哪些步骤和程序。

1.环境设置与依赖安装

首先，代码通过一系列的!pip install和!pip uninstall命令来安装和卸载必要的Python包，确保运行环境中有正确的依赖库。

2.数据集加载与预处理

这部分从ModelScope加载了一个名为lowres_anime的数据集，并将数据集中的图像转换为RGB格式，保存到指定目录下，并创建一个JSONL文件，其中包含了图像路径和对应的文本标签“二次元”。

3.数据清洗与过滤

使用Data Juicer库配置并执行数据处理，包括图像尺寸过滤和宽高比过滤，以确保图像符合特定的质量标准。处理后的结果被保存为新的JSONL文件。

4.数据转换与特征提取

接下来，将处理过的数据转换为Pandas DataFrame，并使用CLIP模型对图像和文本进行编码，得到图像与文本之间的相似度分数。

5.自定义数据集与数据加载

定义了一个自定义的PyTorch数据集类CustomDataset，用于处理DataFrame中的数据，并创建一个DataLoader用于批量加载数据，再次利用CLIP模型计算图像与文本的相似度。

6.图像生成

最后，使用StableDiffusionPipeline根据不同的提示（prompt）生成二次元风格的图像，并保存这些图像。生成过程包括了设置不同的种子以获得多样化的输出，以及一些负面提示（negative prompt）以避免不期望的图像特性。

7.图像拼接

将生成的图像按顺序拼接成一个大图，并调整大小以适应特定的尺寸。

整体来看，这段代码实现了从数据集加载、预处理、特征提取、自定义数据集构建、到最终利用深度学习模型生成图像的完整工作流。
————————————————

以下是本人调整做出的图片

由于时间仓促，本人行文较为草率，其间有些过错请读者帮忙指出。 

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/foxfur/article/details/141201537