Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记

一、跑通baseline

1.搭建运行环境

1.1 进入阿里云开通PAI-DSW试用，领取5000算力时

阿里云社区

1.2 进入魔塔社区授权

链接

授权成功

2.报名赛事

赛事链接：链接

点击报名比赛，即可报名成功

3.运行代码

安装 Data-Juicer 和 DiffSynth-Studio，restart一下，之后顺序执行代码。

二、作品演示

三、核心技术详解

1.提示词

1.1 提示词的基本结构

主语：提示词的主体，通常描述图像的主要对象或场景。例如：“a cat”（一只猫）、“a landscape of mountains”（一幅山景）。
修饰语：为主语提供更详细的描述，包括形容词、颜色、材质等信息。例如：“a fluffy white cat”（一只毛茸茸的白猫）、“a misty mountain landscape”（一个雾蒙蒙的山景）。
动词和动作：描述对象的行为或状态。例如：“a cat playing with a ball”（一只正在玩球的猫）、“a mountain with clouds hovering”（一座山，云层漂浮在上方）。
背景和环境：提供图像的背景信息或场景。例如：“a cat in a cozy living room”（一只在舒适的客厅里的猫）、“a mountain at sunset”（日落时的山）。

1.2 高级提示词技巧

细节描写：添加更多的细节可以帮助生成更复杂和逼真的图像。例如：“a vintage car parked on a cobblestone street, with autumn leaves falling”（一辆复古汽车停在鹅卵石街道上，秋叶飘落）。
风格化描述：你可以指定图像的艺术风格或参考某种视觉风格。例如：“a portrait of a woman in the style of impressionism”（一幅印象派风格的女性肖像）、“a futuristic cityscape with cyberpunk aesthetics”（具有赛博朋克美学的未来城市景观）。
光线和氛围：描述光线条件和氛围可以影响图像的整体感觉。例如：“a cozy room with warm lighting”（灯光温暖的舒适房间）、“a mysterious forest at twilight”（黄昏时神秘的森林）。
摄影视角和构图：描述图像的视角和构图可以帮助生成特定的图像布局。例如：“a close-up of a flower with a blurred background”（特写镜头的花朵，背景模糊）、“a wide-angle shot of a bustling city street”（广角镜头下的繁忙城市街道）。

1.3 提示词的精确度与模糊度

精确描述：当你对想要生成的图像有明确的想法时，可以使用精确的提示词。例如：“a high-resolution photograph of a black sports car on a racetrack”（一张黑色跑车在赛道上的高清照片）。
模糊描述：当你想探索模型的创意或接受意外结果时，可以使用较为模糊或抽象的提示词。例如：“an abstract representation of chaos”（混沌的抽象表现）。

1.4 提示词的排列顺序与重要性

提示词的排列顺序会影响模型对图像的理解和生成顺序。通常，模型会优先处理提示词中的前几项内容。因此，最重要的信息应该放在提示词的开头。

1.5 组合多个提示词

你可以将多个提示词组合在一起，以生成更复杂的图像。例如：“a futuristic cityscape with towering skyscrapers and flying cars, at sunset, in a cyberpunk style”（一个具有高楼大厦和飞车的未来城市景观，日落时，赛博朋克风格）。

1.6 提示词的语言与语法

文生图模型通常支持多种语言，但使用模型主要训练语言（如英语）会更容易生成高质量的图像。语法结构应该保持清晰简洁，以便模型能够正确理解并生成图像。

1.7 常见的提示词陷阱

过度复杂：如果提示词过于复杂或包含太多细节，模型可能难以理解，从而生成不准确或混乱的图像。
含糊不清：提示词过于模糊可能会导致生成的图像不符合预期。
矛盾的描述：如果提示词中包含相互矛盾的描述，模型可能会生成无法解释的图像。

1.8 提示词的实例

简洁提示词: “a red apple on a wooden table”（一只红苹果在木桌上）
详细提示词: “a detailed oil painting of a serene village at dawn, with smoke rising from chimneys, and a river flowing through the center, reflecting the first light of the morning”（一幅详尽的油画，描绘黎明时宁静的村庄，烟囱升起的烟雾，一条河流穿过村庄中央，映出晨曦的第一缕光）