从灵感到现实：Stable Diffusion在设计中的创作

乔代码嘚

于 2024-09-30 10:20:53 发布

阅读量440

点赞数 11

文章标签： stable diffusion 人工智能 AIGC

本文链接：https://blog.csdn.net/Trb701012/article/details/142650972

版权

引言：Stable Diffusion作为一种基于深度学习的图像生成技术，正在为景观设计注入前所未有的创意动力。通过稳定扩散模型，设计师能够快速生成多样化的设计方案，探索新的视觉可能性，并实现更直观的设计表达。这不仅大大提高了工作效率，还为传统设计注入了更多智能化与艺术感的元素，推动景观设计迈向更具创新力的未来。

学习SD的准备阶段

电脑配置需求(针对SD-WebUI的使用)

**操作系统：**windows10以后（不可以使用mac系统，不推荐使用笔记本）

**CPU:**不做强制性要求

**内存：**至少8G，推荐16G以上

**磁盘空间：**100G的可用空间（软件本体约20G-30G，之后需要下载大量模型文件）

**显卡：**必须是Nvidia的独立显卡，显存推荐8G以上，推荐20系以后的显卡

**重要性：**显存＞性能（例：4060Ti-16GB＞4070Ti-12GB）。显卡性能决定生图速度，显存大小决定是否有条件生图

SD软件安装注意事项

软件下载链接及教程：（由秋叶大佬基于开源项目Stable Diffusion WebUI制作）

在这里插入图片描述

安装注意事项：安装路径尽量不要有中文和空格，否则在路径索引过程中容易报错。另一方面由于SD的模型文件特别大，因此需要将WebUI文件夹放在空的盘

SD的基础使用教程

在一切准备工作就绪后，我们大概介绍一下基于webui的SD界面。首先，在我们拿到安装包以后可以直接打开启动程序，会出现一个交互界面，我么可以点击一键启动就能调出SD的操作界面。这个启动的过程时间比较长需要耐心等待，启动后的SD的界面会以网页版的形式出现。注意，在使用sd的过程中不要关闭启动器。

打开WebUI启动器，点击启动界面

启动后显示加载界面，之后保持启动器在后台运行

加载完成后会在网页端显示SD使用界面，上图标注了常用功能区域

在制作第一张图之前，我们需要下载使用SD必不可少的大模型以及Lora模型。大模型可以为生成的图片定类型，如真实照片类、平面插图类、3D建模类、卡通类，因为这类文件大小通常需要好几个G，因此叫做大模型。Lora模型则是对某个方向的特定强化，类似于在写提示词中，对某个特定提示词的强化，如建筑、景观、人物等等甚至更细的分类。

在使用中，大模型只能选择一个，且不同大模型切换需要大量加载时间，但是Lora模型可以选择多个并且可以设置控制强度。

大模型、lora下载网址：

CivitAI网站：https://civitai.com/

Liblib网站：https://www.liblib.art/

可以免费下载大量大模型和lora模型

在启动器模型管理界面可以选择右上角打开模型文件夹，将下载好的模型放入，刷新列表即可使用

文生图详解

文生图基础步骤与Midjourney相似,填写简洁、准确的提示词prompt既可以生成图像。与Midjourney不同的是，StableDiffusion可以填写反向提示词共同控制画面中的内容。提示词填写逻辑可以参照往期Midjourney提示词的填写教程，也可以在Liblib等在线网站学习他人相似图片的提示词/反面提示词。

分别在提示词和反向词中填入prompt

**迭代步数（Steps）：**数值越高，画面细节越高，但是推荐数值20-35之间，过高或者过低，都会影响画面质量

采样方法：我个人理解为不同品牌的渲染器，推荐使用默认的DPM++ 2M或者Euler a

**宽度高度：**控制最终出图图像分辨率，前期建议大家不要把宽度和高度设置超过1024（在后期进阶学习使用sdxl模型出图后可以尝试）

**提示词引导系数：**推荐使用默认数值；数值越大，提示词与画面关联性越强

高分辨率修复：（相当于把画面重新放大画一遍）在生成宽度高度分辨率较低的情况下，生成图比较糊，可以通过高分辨率修复将图放大2-4倍进行重绘，以此解决画布尺寸不够的问题。推荐放大算法R-ESRGAN或者4x-UltraSharp,重绘幅度最好不要超过0.5。高分迭代步数可以保持默认的0数值，它会和我们设置的采样迭代次数保持一致

在开始出图的时候，可以不需要勾选高分辨率修复，以提高出图速度

点击生成一栏最右侧的Lora,就可以看到我们下载后保存的lora模型，只要点击，lora模型就会出现在提示词中（下图中提示词最后出现的<lora:uia< span=“”>建筑lora_扎哈曲线风格_10__v1.0:0.8>），lora的比重可以调节，在最后的“：1”可以修改为0.1-1.0，具体参数可以在下载lora时看作者的推荐，通常推荐0.7-0.85。

可以选择多个lora，如果提示词中lora字段变成粉红色说明载入错误需要重启SD

在完成上述操作之后我们就可以点击生成，生成我们第一张文生图。可以选择总批次数和单批数量，推荐前期可以用比较低的分辨率快速生成多批次的图，等确认提示词和参数没问题了，再增加高清分辨率修复。

图生图详解

Controlnet模型可以根据草图、线稿、照片等等作为底图生成图纸，完全可以当做渲染图或者生成方案使用，cn在下载秋叶的SD安装包中就会有，需要把解压包中controlnet的模型放到相应位置。

在完成文生图一样的步骤后，我们需要准备一份手绘图纸，不管精细或粗糙，哪怕只有几条线都可以。拖入controlnet中作为底图使用。

将手绘图拖入或者导入

然后我们需要依次勾选**“启用”、“完美像素模式”、“允许浏览”**，根据导入图片选择不同的控制类型。如果是草图、灵魂手绘就选择Scribble（涂鸦），如果是较为精细的手绘图、钢笔画可以选择Lineart(线稿），如果是su体块单线可以使用MLSD（直线）。

选择完以后一定要单击预处理器和模型中的爆炸图标，此时可以看到预处理器结果预览中出现预览控制图。最后，可以在预处理结果预览的右下角点击一个单箭头的图标，可以将当前图片尺寸信息发送到生成信息，这样可以保证我们生成图的比例与放入的手绘图比例相同。

调整完成cn相关数值选择后一定要确认点击了开启以及爆炸

点击生成即可出图，检查完成图后面是否有controlnet控制预览，如果没有说明controlnet没有启用。

提示词：UIAQX,Futuristic architectural panorama,human perspective lens,HD lens,bold elegance,street.Bruno Toth,Zaha Hadid,extremely wide angle lens,cold and warm contrast,<lora:uia< span=“”>建筑lora_扎哈曲线风格_10__v1.0:0.8>,

反向词：signature,soft,blurry,drawing,sketch,poor quality,ugly,text,type,word,logo,pixelated,low resolution,saturated,high contrast,oversharpened,

SD在景观设计工作中的应用

生成平面图

使用平面手绘线稿，生成各种风格平面图，可以迅速完成多方案彩平制作的需求。

使用真实系大模型以及lora辅助下可以生成照片风格的平面图

提示词：SSS_Landscape rendering,floor plan,grass,tree,building,road,shadow,pool,best quality,8k uhd,high quality,reality,real picture

负向提示词：NSFW,(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime),text,cropped,out of frame,(worst quality,low quality:2),jpeg artifacts,ugly,duplicate,morbid,mutilated,extra fingers,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,dehydrated,bad anatomy,bad proportions,extra limbs,cloned face,disfigured,gross proportions,malformed limbs,missing arms,missing legs,extra arms,extra legs,fused fingers,too many fingers,long neck

使用卡通系大模型以及lora辅助下可以生成竞赛风格的平面图

提示词：aargsitemap,day,trees in the park,trees along the road,cars on road,a plan of a city with lots of trees and buildings on it,and a large park in the middle

负向提示词：ng_deepnegative_v1_75t,(badhandv4:1.2),EasyNegative,(worst quality:2),

线稿生成效果图

较为潦草的手绘稿可以使用contronet中的Scribble模型

提示词：building,Commercial,square,terrace,reflection,rainny,rain,humidity,((masterpiece)),(cyberpunk1.3),high las ((best quality:1.4)),(ultra-high resolution:1.2),(realistic:1.4),(8k:1.2),nsanely detailed,buildings,architecture,interior light,landscape,art artarchitecture

负向提示词：ng_deepnegative_v1_75t,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowres,((monochrome)),(grayscale:1.2),skin spots,acnes,skin blemishes,age spot,glans,extra fingers,fewer fingers,(watermark:1.2),(letters:1.2),(nsfw:1.2),teeth,mole,multiple breasts,(mutated hands and fingers:1.5 ),(long body :1.3),(mutation, poorly drawn :1.2),blurred,one hand with more than 5 fingers,one hand with less than 5 fingers,one hand with more than 5 digit,one hand with less than 5 digit,more than two shoes,more than 2 nipples,different nipples,more than 1 left hand,more than 1 right hand,more than 2 thighs,more than 2 legs,worst quality,low quality,normal quality,watermark,bad anatomy,nude,toplessng_deepnegative_v1_75t,easynegative,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,logo,((text)),nsfw

较为准确的手绘稿可以使用contronet中的Softedge模型

提示词：((best quality)),((masterpiece)),((realistic)),High-rise single residential,streets,road,first-floor commerce,vehicles,pedestrians,busy streets,high resolution,extremely detailed,Realistic,8K,Photorealism,masterpiece,Hyperrealistic,perspective,volumetric lighting,natural light,three-stage building,day light,movie light,river

负向提示词：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,(monochrome),(grayscale),blur,signature,drawing,sketch,text,word,logo,cropped,out of frame,(wormline:2),(lowquality:2),monochrome,grayscale,drawing,painting,crayon,sketch,graphite,soft,deformed,ugly,(soft line),(cloud)

较为准确的线稿可以使用contronet中的Lineart模型

正向提示词：Urban concept design,urban bird’s-eye view,Lighting effects,aerial photography,organic architecture,low-density buildings,ultra-high quality,modernist architecture,masterpieces,master works,ultra-fine,ultra-realistic,garden landscape,three-dimensional greening,RAW,8k,growth,vitality,rich details,photography,architectural,tree,office building,3D rendering,HD,(forest background:0.8),City photography,Urban construction,Sunshine,

负向提示词：skyscrapers,tall buildings,super tall buildings,ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normalquality:2),signature,watermark,username,blurry,lowres,

bad anatomy,bad hands,normal quality,((monochrome)),((grayscale)),face,girl,nsfw,nsfw,

准确的线稿可以使用contronet中的Canny模型

正向提示词：aichang,get a bird 's-eye view,aerial photography,shadow,urban planning,overlooking the city,real scene,glass,sunshine,snowing,urban center,lake water,aeroplane,yacht,future city,science fiction scene,spaceship,irregular building,aircraft

负向提示词：Low resolution,poor structure,people,text,errors,numbers,jpeg artifacts,signatures,

watermarks,username,blurring,normal quality,low quality,worst quality,painting,sketches,

bad-picture-chill-75v,FastNegativeV2,nsfw

效果图风格迁徙

可以对已经完成的效果图加入效果较好的意向图作为风格参考，对原有效果图品质进行加强，或者更改天气季相等。

使用不同权重的cn模型可以控制建筑风格迁移过程

使用不同风格的意向图和可以进行不同景观风格的迁移

海报制作

通过稳定的参数和模型，使用cn对不同字体进行控制生成节庆海报

结语

通过一段时间的实际使用，我们深刻感受到Stable Diffusion在景观设计中的潜力。它不仅帮助我们快速生成了多种设计方案，还为创意的表达提供了前所未有的自由度。特别是在初期概念探索和方案调整过程中，SD技术大幅缩短了设计周期，提升了团队的工作效率。对于我们这些设计师来说，Stable Diffusion不仅是一个工具，更是一种全新的设计思维方式。

展望未来，我们预期SD技术将进一步应用于实时项目可视化、虚拟现实体验和互动设计等场景，甚至可能实现设计全流程的智能化管理。随着技术的进步，它将帮助我们打破传统设计流程的边界，带来更具创造力、更高效的设计体验。Stable Diffusion正在从根本上改变我们对设计的理解，成为推动行业发展的强大驱动力。