task2 尝试#Datawhale X 魔搭 AI夏令营

首先是对文生图的原理有了更深入的了解，包括扩散模型，扩散模型与decoder的级联，如何学习新的训练集同时保持已经学习的内容等等

然后是通过通义对代码的逐行解读，对于整个模型在干什么有了更清晰的认知，我个人基础比较薄弱，通义在帮我理解和学习代码方面提供了很多帮助

最后是我做的一些尝试，我主要尝试了两方面：

第一点如果prompt和negative-prompt有矛盾的地方会怎么样，我几乎相同的prompt和negative-prompt绘制了两幅图:

左图：

prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙",
negative_prompt="紫色、丑陋、变形、嘈杂、模糊、低对比度",

右图：

prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",

两张图片唯一不同的就是左图在紫色描述上存在矛盾。可以明显地看到左图更加地暗一些，并且虽然左图依旧是紫色头发，但是已经没有右图那么典型了，更加的偏向蓝色系，觉得这可能和模型对紫色的理解是相对亮一些的原因，这种矛盾描述导致描述对象本身不典型，当然正常也不会有这样的矛盾描述，纯属娱乐

第二点就是模型在生成的图片中绘制图片的能力，我选择的描述方式是照镜子、照相以及自拍，最开始其实只有照镜子、照相这样的描述，但是我发现生成的图片有些抽象：

prompt="现实人物，一个穿精美蓝色裙子的女生在镜子前用手机照相，镜子上有水渍，短发，梳洗台很干净",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",

可以明显的看见镜子内外是同一个人同一个动作（听我解释为什么这么说），但是二者并没有形成镜像对称，而是形成了线对称，即镜子中的人和本身镜像对称后还左右翻转了一下，同时图片为了体现照相这个描述，强行给现实中的女生加了个拿手机拍照的手，虽然拍照内容有些难绷

更换seed后结果有所不同：

但仍然存在镜中没手机的情况

于是我绘制了这样一幅图片：

prompt="现实人物，一个穿精美蓝色裙子的女生在镜子前用手机自拍，镜子上有水渍，短发，梳洗台很干净",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",

这幅图我觉得挺nice的，主要原因在于：它也没有画手机，但是它利用遮挡关系形成了一个很有逻辑的画面，我觉得这大概率是个巧合

时间有限没有做更多的尝试