talentyiyy的专栏

实际上，在stable diffusion 中，你获取发现很多controlnet 其实功能有点类似，你都使用完一遍之后，会发现条条道路通罗马，有的场景需要多个controlnet 一起配合，并配合适当的权重，其中还包括‘入场’，‘出场’的时间等等。在这之前，先别急，我们需要搞懂最常用的controlnet 都是干什么用的，以及实现效果和最基本原理，后面就是根据自己的场景，综合应用了。今天想说的是3D纹理展示这部分，其实这部分，个人觉得你如果不是AR或者游戏制作者，又或者是考古学家，实际应用中可能不是太多。

他之所以用语义分割来描述，本质上是想通过色块分类来区别一副图片上的实物，哪些是草，哪些是山，哪些是房子，小一点的，哪些是椅子，茶几，桌子，地毯，电视 等等等等。你也不用找设计师了，你就自己做一个可以先看看效果，而且几秒钟搞定，可能你请的设计师也是通过 AI，毫不夸张的说就说通过 stable diffusion，转换了下，因为二次装修嘛，可能你也不会穿墙打洞，做结构特性调整了。选择偏真实系的吧，毕竟是现实装修世界。其实问题不大，在真实系模型训练的时候，除了训练人，物体也要训练吧，比如山川，石头，河流等。

这段时间不知道为啥小伙伴似乎喜欢制作很符合自己场景的ICON。其实，你如果认真看了本专栏前面几节的内容，应该说这个问题很简单。但是总有小伙伴按照别人的safetensor 或者checkpoint 文件无法做出别人的效果，做出来总是一个很奇怪的图案。如果你也是这种情况，就说明你还没有入门炼丹师行业。Stable Diffusion 作画的机理及使用前面已经讲了很多。AI作画的好处就是天马行空，不管是文生图 还是 图生图，都是一样的。这种灵活性赋予AI作画创造性的同时，也使得AI作画无法被指定的实物约束。

虽然都是字，带场景的立体字和上一节讲的做法不太一样。一般来说，一般这种带字体的场景字现阶段都是Lora模型居多，Lora 属于轻量级模型，相较那种完成的data model 而言 data 量是比较小的，更像是书签。所以对应于不同场景，一般是需要不同的Lora，还好，现在gtihub 或者开源社区上有很多针对不同场景的Lora模型，但因为领域场景的细分，可能你需要下载适合你需要场景的模型。因为你可以想象下，字要和场景结合，那必然是三维空间的产物，如果是二维，很难真正描绘所谓的场景。这个模型还行，就用他了。

如果看过上一期你应该知道如何利用layer diffusion 制作场景动漫海报，其实掌握这个方法后，任何海报或者其他场景都可以做。我之所以提这个问题，是因为 在AI 作画中，基于Stable Diffusion 的扩散模型，要在局部范围内绘制出艺术效果字，且不改变其他部分，似乎比较困难。首先用一张PS，或者再简单点，直接用 mspaint，create一张与原图大小一样的canvas，在你需要的位置写上 机甲战士。但是说实话，在人物身上的效果要好很多，如果你不理解其中的过程，可以看看。

layer diffusion 重点在 layer，顾名思义，就是分图层的概念，用过ps 的朋友再熟悉不过了。没使用过的，也没关系，其实很简单，本质就是各图层自身的编辑不会影响其他图层，这好比OS中运行了很多process，一个process 宕机或者修改，不会影响其他process 是一个道理。他的好处很多，可以帮我们生成一个背景透明的任何图片，你可以借助 ps 等工具进行融合。当然高阶一点的玩法，可能是借助背景生成前景，或者借助前景生成背景。

魔法师使用魔法作的画有时候太过完美，以至于有点脱离真实摄影的感觉，我们看看怎么尽量做好AI摄影。其实你看了几期这个专栏写的文章，AI 绘画操作对于魔法师来讲，是有套路可寻的。对于真实系的任务或风景来讲，太完美往往不是上上之选。有时候可能需要‘接地气’。唯美而不失真，恰到好处比较好。

很多场景下，需要完成人物风格变换，比如现在是写真集，想转换为动漫集。但我们需要人物原始特征保持不变，再者加上一些新的动漫背景，生成三次元图像，或生成3D画风图像，我们看看怎么处理。

绘制一款模特穿着某个英文LOG的漂亮服装，这是一种很常见UI作画需求，这类需求实际上可以透过选取正确的底模 + controlNet 进行完美的实现，懂的人觉得比较简单。下面来实操下。任何新技术，只有懂得了如何使用，你才能从原理上更深层的了解把握它。

需要说明的是，底模的选择很重要，底模的选择直接个你需要的情景相关。如果底模不符合你需要的情景，AI 绘制出来可能不是你想要的，尽管你的提示词可能描述的非常准确。如果你觉得偏真实感的不适合你的场景，你想换个偏科技感的，没问题，换个底模。需要注意下，有的底模是在已有底模上的二次改良，选择时候注意加载。选择权重为 0.9， 比对第一个边缘检测，稍微弱一点，我没有勾选完美像素，当然你也可以勾选。绘制底图很简单，mspaint，word，txt， ppt 都可以。最后加入一点金属风格的背景，你可以加入多模型来支撑。

如果想对图做精准控制，那就需要使用ControlNet 告诉AI 你想绘制的东西答案有哪些表定量的部分，因为有的东西通过文生图与图生图无法准确表达。简单介绍下 ControlNet。

图生图，应该说应用非常广泛。因为文生图，AI绘画只能根据你描述的语言进行绘制，可能执行100次，100次的结果都不同。但是图生图的机制不太一样。当使用图生图机制时，AI首先会分析原画的一些特征，有一些语言很难表达，比较晦涩的特征会被AI 通过原画的方式进行捕捉。因为如果说你大脑中所想，经过人类语言描述AI可能不大能很好的把握，通过提示词的技巧可以使得你想表达的东西距离AI越近（如果你还不会提示词技巧，看下上一篇文章），那么直接用图的方式让AI自己图提取特征就更为直接。

但这之间，就现有技术而言，有着一条难以逾越的鸿沟，就是AI 生图的机制决定了，你在文生图的过程中，提示词需要尽量符合AI 模型能捕捉的原则，这是不得已而为之的做法。提示词有两大类，一类是内容相关的，一类是画质等绘画要求相关的，比如绘画的风格，清晰度，镜头的长远等。其实有时候长的短语更能让AI找到意境，因为一个逗号表示一个完整信心，如果这个信息比较足，他会走位一个整体考虑，同时整个场景需要他考虑的事情会比那种一直满篇都是逗号的可能要好，你可能只能用权重来调整这些分布，但好的提示词更能在意境与短语间折中。

Safetensors 结合了高效的序列化和压缩算法，以减少大型张量的大小，并提高其存储和加载的效率。它专为深度学习应用设计，提供了速度、效率、跨平台兼容性、用户友好性和安全性等多方面的优势。

AI绘画背后，依旧是大模型的训练。但绘图类AI对计算机显卡有较高要求。建议先了解基本原理及如何使用，在看看如何实现自己垂直行业的绘画。首先需要说明的是，AI绘图和AI识图是不一样的两类训练模型。当然从原理上讲，你可以很范的认为他们都是从训练集中训练神经网络，经过正向，反向传播调整参数，并不断fine tune。在验证集验证模型，并在测试集上测试模型。但实际上在实作的时候，AI绘图对显卡等硬件资源要求相对更高，且模型在前期，中期，后期的处理手法也不一样。