重拾设计师的手绘能力——Stable Diffusion辅助设计学习笔记

最新推荐文章于 2024-11-07 15:27:00 发布

AI绘画咪酱

最新推荐文章于 2024-11-07 15:27:00 发布

阅读量1k

点赞数 23

文章标签： stable diffusion 学习笔记 AIGC 人工智能

本文链接：https://blog.csdn.net/2401_84760322/article/details/140730678

版权

前言

    随着CAD、BIM等设计手段的普及，许多设计师已经逐渐遗忘了手绘这一基本功。然而，手绘作为最原始最直接表达设计意图的形式，在AI辅助设计中仍然具有不可替代的价值。运用手绘草图，结合Stable Diffusion可以有事半功倍的效果。

（本图由Stable-Diffusion生成）

一、Stable-Diffusion简介

目前比较流行的文生图模型软件是Stable Diffusion，它是一种基于深度学习的图像生成模型，它通过将文本输入转换为图像，实现了文本到图像的生成。该模型具有出色的生成效果和稳定性，因此在图像生成领域受到了广泛关注。该模型采用了条件生成对抗网络（Conditional GAN）结构，允许用户通过输入文本控制生成的图像内容。与以往的GAN模型相比，Stable-Diffusion具有更好的稳定性和生成效果。

Stable-Diffusion的界面，网上有大神打包好了的软件包。

二、什么叫大模型

Stable Diffusion的大模型是指其具备高参数量的神经网络模型，这使得模型在处理复杂图像生成任务时更具优势。然而，大模型的训练时间和计算资源需求也相应增加。为了解决这一问题，获取Stable Diffusion大模型的方法可以通过下载相应的模型文件或使用在线模型库等方式。具体的获取方式可以参考相关的技术文档或社区资源。需要注意的是，模型文件较大，通常有几G或者十几G。

三、Lora的作用

Lora是一种轻量级神经网络结构，旨在实现高性能与低计算资源消耗的平衡。通过将大模型中的部分层替换为Lora层，可以在保持性能的同时降低模型复杂度和计算需求。Lora在Stable Diffusion中起到了关键的作用。它通过优化神经网络结构，降低了模型的复杂度和计算需求，使得Stable Diffusion能够在有限的计算资源下实现高效的图像生成。同时，Lora还提高了模型的稳定性和生成效果，使得生成的图像更加逼真和生动。

以上摘自网络 **
反正我的理解是：大模型是菜的底料，是大鱼大肉，决定你要做什么菜；而Lora是配料，是姜葱蒜辣椒，料酒醋，决定你做成什么鲁菜还是川菜还是清蒸.

四、提示语

在使用Stable Diffusion进行辅助设计时，设计师可以通过输入相应的提示语来控制生成的图像内容。常用的提示语包括建筑物的形状、材质、光影效果等。例如，输入“一座古朴的木质建筑，阳光透过屋顶洒在室内”，模型会根据这些描述生成相应的图像。

以下是一些常用的中英文对照的提示词：

视角：

正面：Front View，侧面：Side View，俯视：Top View，仰视：Bottom View

光线：

自然光：Natural Light 人造光：Artificial Light 软光：Soft Light 硬光：Hard Light
色彩：

冷色调：Cool Color Tone 暖色调：Warm Color Tone 鲜艳：Vibrant 柔和：Soft
细节：

精细：Detailed 简约：Minimalistic 写实：Realistic 抽象：Abstract

5. 关于古建方面的提示词，以下是一些中英文对照的例子：

古建风格：

中式古建：Ancient Chinese Architecture

欧式古建：Ancient European Architecture

古建细节：

檐角：Gable End    斗拱：Doukang     窗棂：Window Grille    柱础：Pillar Base

古建材料：

木质：Wooden    石材：Stone    砖瓦：Brick and Tile

古建色彩：

朱红：Crimson    青砖：Blue Tile    琉璃瓦：Glazed Tile

古建环境：

庭院：Courtyard    园林：Garden    山石水景：Mountain, Rock and Water Scenery

古建元素：

脊兽：Roof Ornament    雕梁画栋：Carved and Painted Beams and Girders    彩绘：Colorful Painting

古建氛围：

宁静：Serene    庄重：Solemn    神秘：Mysterious

类似这些提示词可以帮助设计师在利用Stable Diffusion进行古建辅助设计时更好地理解和运用提示语，提高设计的效率和效果。同时，这些提示词也可以帮助设计师更好地表达古建的特色和氛围，从而更好地呈现设计方案。

以上提示语只是举例，具体还要看实际的出图需求

五、运用ControlNet

ControlNet是Stable Diffusion中的重要组成部分，手绘草图输入到ControlNet，控制生成图像的细节和风格来提高生成的图像与实际场景的相似度。在古建筑辅助设计中，设计师可以通过运用ControlNet来控制生成的草图的细节和风格。例如，可以调整建筑物的布局、结构、装饰等特征的生成权重，以实现更加符合实际需求的草图生成。

六、输出设计效果图

利用Stable Diffusion辅助设计后，设计师可以通过输出设计效果图来展示设计的成果。这些效果图可以作为设计方案的重要参考依据，帮助设计师更好地理解设计方案的实际效果和可行性。同时，这些效果图也可以作为与客户沟通的重要工具，帮助客户更好地理解设计师的设计意图和创意。

提示语与ControlNet关系是：

ControlNet是怎么切菜，提示语是怎么炒菜.

七、案例

以下是一些利用Stable Diffusion辅助设计的案例图片：

一座楼阁

随手画的一个草图，二层的楼阁，画得不是细致，也不确定是北方风格的，还是江南园林风格的建筑，预留很多的可能性。

先来一张北方庙宇风格的试试：

先来一张北方庙宇风格与江南园林融合的
在原来的草图上添加连廊、亭子，画几条曲线，先不管它是路还是水岸。然后拍照，传到电脑，裁剪合适的构图，咔咔咔一顿操作：

以上是不同的提示词和Lora组合得到的风格截然不同的图。

这张是不是像建成照骗？

园林速写

为了想验证，复杂的园林景观表达，是否也能表现出来。在网上找到一张画得很精美的钢笔画速写：

不同的模型和Lora组合，生成风格迥异的效果。在大致符合线稿图的基础上，SD还进行了二次创作。

一张画得不怎么样的速写

上个例子是一张画得很精致的速写图，这次来一张比较潦草的图，看看SD能给我什么样的答案：

苏式风格的：

比较新的，仿的：

北方古建与苏式园林融合的：

在一定的范围内，SD的创作还是符合

一张AC草模

上面的例子是手绘草图，如果用建模软件如ArchiCAD、SU、Rhino等建一个很粗略的草图模型，截个图喂给 SD。

氛围感十足的临水楼阁：

因为模型太粗略，它也可以理解为高台基的一层水榭:

这个尺度对比，看起来是林中木屋：
粗犷的北方古建：

在AI辅助设计时代，建筑师的手绘草图能力需要重新捡起来了，结合Stable Diffusion可以带来以下好处：

提高设计效率：手绘草图是建筑师常用的设计工具，通过手绘可以快速表达设计思路和创意。结合Stable Diffusion辅助设计，可以利用计算机技术对草图进行优化和改进，提高设计的效率和质量。
增强设计表现力：Stable Diffusion可以生成高质量的图像，结合建筑师的手绘草图，可以增强设计的表现力。通过生成更加逼真和生动的图像，可以让客户更好地理解设计师的设计意图和创意。
拓宽设计思路：Stable Diffusion的图像生成能力可以帮助建筑师拓宽设计思路，尝试不同的设计方案和效果。同时，结合手绘草图，可以更好地发挥建筑师的创造力和想象力。
提高与客户沟通效率：通过生成高质量的设计效果图，可以更好地与客户沟通设计方案。客户可以通过效果图更直观地了解设计师的设计意图和创意，从而提高沟通效率。

总之，建筑师的手绘草图结合Stable Diffusion辅助设计可以带来提高设计效率、增强设计表现力、拓宽设计思路和提高与客户沟通效率等好处。

这里直接将该软件分享出来给大家吧~