【Datawhale AI夏令营第四期】魔搭-AIGC方向 Task03笔记 原神风格Lora尝试 ComfyUI简介

【Datawhale AI夏令营第四期】魔搭-AIGC方向 Task03笔记 原神风格Lora尝试 ComfyUI简介

首先我们继续推进网课进度。
https://space.bilibili.com/1069874770
传送门

WorldArt锦书产品介绍：

我属实是没想到这个产品居然还可以用作遗迹鉴定和名家笔记仿写这样的用途。



这些工作主要是针对英文字母在做变形，因为中文比较复杂，不适合整体变形。
同时还要配合后处理：

WordArt中文象形文字数据集：对单个汉字引入其意象进行变形。

从来没听说过的新奇数据集，有意思。
而且支持多语言文字变形，几乎囊括了东亚所有文体：这样感觉设计Logo会很方便，之前b站上我也刷到过一些教字体设计的短视频，很多需要把字的一部分用来变形或者抽象操作。
这里针对中文的变形还是局部变形效果比较好，因为中文比较复杂，整个全变了效果就比较差了。

文字仿写：相同风格文字扩充

名家的历史真迹可能样本很少，可以通过文字仿写来进行相同风格文字的扩充。

diffusion出来之前：GAN-based

文字纹理：

之前跟文字纹理相关的主要是纹理迁移的工作。

这里讲到ControlNet了，可以用不同的条件来进行控制。
三个主要难点：

文字分割：分割出带有透明通道的文字图片。

锦书体验页面：

https://www.modelscope.cn/studios/WordArt/WordArt
传送门

我玩了一下，是我打开方式不对吗？这啥啊？？？
个性字体：基于用户少量的手写字，来为用户生成一个完整的字体集。
需要按照模板在纸上写字然后拍照上传。

耗时比较久，15分钟以上。我自己写了一段狂草测试，他报错了……


这次效果好多了：

创意文字生成这个栏，如果勾选了改变形状，就是变形+纹理的级联（结合？）；没有勾的话就只是文字纹理。

新春对联这个功能看着挺有意思，可以用名家字体写对联，也可以用自己的DIY字体来写对联。
然而这个功能现在好像没有了……

课后作业：

文字变形代码：
https://modelscope.cn/models/jyhe21/wordart_designer
文字纹理代码：
https://modelscope.cn/models/MorningsunLee/cv_sd_wordart-texttypo


虽然但是，我有点不明白，我该咋玩？我复制了链接里面的示例代码到新的实例里面跑，但是他报错说缺文件？？？

我暂时还没找到解决办法，先暂时搁置一下。

如果一个图像满足一个特定的人物风格和特定的人物ID，就可以认为是比较美和像。

当前大部分的人像写真工作都是基于线上训练的微调。



图生图人任务，这个也很神奇，为什么就能精准控制换脸呢？






FaceChain-Fact项目


高阶选项：实现进阶功能，比如姿态变化。

先改第一个人的，再改第二个人的。

只保留ID信息，不保留光照信息。

正常表情适配。


课后作业：

这个系列讲授的都是特别实用的AIGC前沿知识，我看完感觉知识要爆炸了，无数个github地址没有转人带根本不知道从哪下手。

另外我还刷到了Bzhan一个教调提示词工程的课程，把最后两课zero-shot和few-shot的看了一下，这两个词也是老出现在BOSS直聘和简历里面。
《【2024最新】从入门到提示词工程师：全网最通俗易懂Prompt-Learning提示词学习教程！学不会我退出IT圈！》：
https://www.bilibili.com/video/BV15jemeTEUD/?p=1&vd_source=cdfd0a0810bcc0bcdbcf373dafdf6a82
传送门
**零样本：**没有答案，但是有线索，经过已知条件推测得到答案。

**少样本：**新类别，例子很少，经过反复学习和改进掌握。

3.4虚拟试衣：介绍文生图在虚拟试衣领域的应用场景与方法：

1.模特的ID需要保留住。
2.服饰要能正确换上去。
3.避免身体的不同姿态导致褶皱发生错乱。

基于物理仿真更加传统，基于图像生成效果更好。还有一种方法是基于GAN来虚拟试衣。

Diffusion模型：建立文本与图像的对齐关系。


可控的图像生成。



截图最下方是体验链接。
可以帮助商家解决拍摄诉求。
在二次元动漫人物上依旧有很好的迁移效果。

还可以换衣之后让人物动起来：

课后作业：
VITON主要是半身像，训练要容易一些。DressCode偏向全身人像，稍微复杂一些。

不知道为什么，抱抱脸和他的官方链接都试运行不了……

3.5从图像生成到说唱数字人应用：

数字人可以分为3D的数字人和2D的数字人。
Talking Head 数字人头部技术。

Lora尝试：更换原神风格数据集

关于Lora模型微调这个事我之前一直没想好数据集用啥，但是我突然有了一个大胆的想法——
原神启动！肯定有人在网上已经做过了原神数据集，一搜果然有！这样就不用我自己拿b站上找的祖传包浆爬虫代码一顿操作猛如虎了。
https://aistudio.baidu.com/datasetdetail/188486
传送门

但这个数据集太大了，上传非常不方便，风格也不太一样，我最后没有用这个，而是自己上网手动存了原神的立绘。

经过我一顿操作猛如虎以后，更换数据集总算是成功了，下面让我们使用之前 Task02要求生成的古风少女微调提示词，看看是否变成了原神风格。

# 图片1
image1 = pipe(
    prompt="原神，二次元，漫画，古风, 古色古香的学堂内，木质书桌椅排列整齐，墙上挂着几幅山水画，一盏油灯挂在一侧，散发着柔和的光芒。少女正聚精会神地聆听先生讲解，手执毛笔，准备记录，桌上摊开着一本古籍。少女身穿蓝色汉服, 黑色长发, 古典发髻, 梅花饰品, 清秀面容, 专注眼神, 古色古香的学堂, 木质书桌椅, 山水画, 油灯, 毛笔, 古籍, 上半身特写",
    negative_prompt="写实风格，照片，现代服饰, 油画风格, 动作模糊, 背景杂乱, 灯光昏暗",
    cfg_scale=4,num_inference_steps=50,height=1024,width=1024,
)
image1.save("原神1.jpg")

效果看起来倒像不像吧，眼睛我觉得很有原神那一套——这个眼睛给我一种旅行者荧+烟绯的混合体的感觉。

看看能不能刷新出不错的全身立绘？

# 立绘
image1 = pipe(
    prompt="原神，二次元，漫画，古风, 立绘，全身图。少女身穿蓝色汉服, 黑色长发, 古典发髻, 梅花饰品, 清秀面容, ",
    negative_prompt="写实风格，照片，现代服饰, 油画风格, 动作模糊, 背景杂乱, 灯光昏暗",
    cfg_scale=4,num_inference_steps=50,height=1024,width=1024,
)
image1.save("原神立绘.jpg")

好像还差点意思。

我试试这个Lora后的模型学原神画风到什么程度了，把之前Task02要求生成的古风少女提示词去掉水墨风的部分，换成原神相关的提示词。
这模型学了谁，我不说，笑死。

最后看看成果吧，感觉是原神立绘作为数据集太少了，而且不是分了单一角色的很多图一起喂的那种，他不是很能学明白【原神】的画风。
所以这个结果不能说一模一样，大概率是毫不相干……

ComfyUI入门使用：

这部分的教程我非常好奇，之前就在Github上下载了ComfyUI的安装包，但是因为调不好电脑本地环境一直没能跑起来，也试过秋叶大佬的安装一键包，可惜电脑硬盘装不下了QAQ……好不容易遇到了个能白嫖的教程，我要存一下这些神奇的步骤。

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

一顿操作猛如虎以后，ComfyUI居然真的Run起来了！！！

小白第一次玩，不知道咋搞，就点了个Load按钮，然后把之前说要下载的俩模型随便选了一个确认。
然后就开始读条了！！！

但是不知道为什么，没出图？？？换了个模型也这样，看终端又没发现啥报错？

不死心返回文件目录，output目录下面也没有东西？？

耐心等一会，出来啦~

今天有点晚了，明天看有没有空研究一下详细的玩法，小白有种看到了希望的感觉！