Mystra

SAM2 与 GroundingDINO 结合，在图像分割和目标检测领域带来显著的进展，SAM2 实现精确的图像分割，而 GroundingDINO 则强化模型的目标检测能力，提供更加准确和细致的物体识别。在实际应用中，能够有效提升各类复杂图像处理任务的性能，协同工作提高处理速度，还确保高精度和稳定性。

在 ComfyUI 的 Impact-Pack 插件中，检测(Detection) 是 YOLO v8 系列，分割(Segmentation) 是 SAM 的第1个版本，目前不支持最新版本，实现基础的检测与分割任务，实现人物与物体的分割。

ComfyUI 是精心设计的现代用户界面框架，以其直观的布局、优雅的动画和高度可定制的组件而闻名，为用户提供一个既美观又实用的交互体验，无论是在网页还是移动应用上，核心优势在于其对细节的关注和对用户体验的深刻理解，通过提供一套全面的预制组件和工具，使得开发者能够快速构建出既符合设计趋势又具有品牌特色的应用程序。

Joy Caption 模型 (由 Fancy Feast 研发) 在 SigLIP 和 Llama3.1 的基础之上，使用 Adapter 模式，训练出更好的描述图像的模型，需要与 SigLIP 和 Llama3.1 混合使用，输入图像，输出一段语义丰富的图像描述。

在 Diffusion 图像生成框架中，使用 LoRA（Low-Rank Adaptation）微调，难点在于，需要精确控制模型参数的更新以避免破坏预训练模型的知识，同时保持生成图像的多样性和质量，这涉及到复杂的优化策略和计算资源的高效利用，以及在保持模型泛化能力的同时实现特定任务的微调，这通常需要大量的实验和调参来找到最佳的低秩矩阵和学习率，以确保模型在特定数据集上的性能提升。

在 Diffusion 图像生成框架中，LoRA (Low-Rank Adaptation) 是用于模型微调的技术，通过在模型的权重矩阵中引入低秩结构来实现。这种方法，可以在不显著增加模型参数数量的情况下，有效地调整和优化模型的行为。具体来说，LoRA 通过在权重矩阵中添加一个小型的低秩矩阵，来调整原有的权重，从而实现对模型的微调。这样做的好处是可以保持模型整体参数量的可控性，同时允许模型在特定任务上进行更精细的调整，提高生成图像的质量和多样性。在 Diffusion 模型中，LoRA 可以应用于条件生成任

Flux 是由 Black Forest Labs 推出的最新文本到图像生成模型，已成为 AI 绘画领域的高品质模型。该模型由 Stability AI 的前核心成员开发，具备强大的生成能力和高质量的图像输出。

ComfyUI 是一个基于 Stable Diffusion 的 AI 绘画创作工具，其插件可以显著扩展和增强其功能。

ComfyUI 是功能强大且高度模块化的 AI 绘画工具，基于 Stable Diffusion 技术，采用节点式工作流界面，使用户能够更直观地控制图像生成过程。特点是模块化设计，允许用户通过拖放节点来创建和调整工作流，极大地提高了灵活性和可定制性。速度更快，灵活的组建工作流，专业团队的需求，节点式编辑。

目前，StableDiffusion WebUI 的版本是 1.6.0，同步更新 controlnet、tagcomplete、roop、easy-prompt-selector等插件，解决启动时，遇到的 Warning 信息。

RuntimeError: The size of tensor a (2) must match the size of tensor b (4) at non-singleton dimension 0。解决方案：SD 的 CLIP 反推功能，调用 GitHub - salesforce/BLIP ，工程是上次更新是2022.9，整体的 Transformer 框架比较旧，目前仅支持 4.26.1 版本。

DPM-Solver++ 使用数据预测模型来求解扩散 ODE，并且采用阈值方法来保证解与训练数据分布相匹配。因而，进一步提出多步变体的 DPM-Solver++，通过减小有效步长来解决不稳定性问题。实验表明，DPM-Solver++ 可以在只有15到20步的情况下，为像素空间和潜在空间的DPMs生成高质量的引导采样。

Stable Diffusion WebUI 是一款基于 Stable Diffusion 模型的网页前端工具，通过简单的文本输入或者图像修改来生成高质量的图像。Stable Diffusion 模型使用深度学习技术，所实现的图像生成模型，可以从随机噪声图像开始，逐步地将其变得更加清晰，以及符合文本描述。目前 Stable Diffusion WebUI 已经更新至 v1.6.0 版本，支持更多功能，建议同步升级。

幻想 (Fantasy) 风格图像是一种以想象力为主导的艺术形式，创造了一些超越现实的场景、角色、物品和故事，通常具有神秘、奇幻、魔幻或科幻的色彩。

拍摄人物坐姿时，选择一个舒适和自然的坐姿，符合个性和心情。可以坐在椅子、沙发、长凳、凳子或者地上。避免坐得太僵硬或者太懒散。放松肩膀和颈部，保持背部直但不僵硬。

俯视 (from below) 拍摄，即从下面或底部拍摄，可以创造出一些有趣和独特的效果，突出人物的身材、姿态、表情和气场，也可以增加画面的视觉冲击力和动感。

运动裤 (Gymwear Leggings) 是紧身的裤子，通常用于健身、瑜伽、跑步等运动。

哥特风格的服装特点：受到中世纪哥特式建筑和艺术的影响，表现出一种黑暗、神秘、高贵、浪漫和颓废的气质。色彩多为黑色、暗色和少数红色，颜色搭配一般为红黑、全黑或黑白，给人以冷峻、沉重和强烈的对比感。

负向 Embeddings 是用于提高 StableDiffusion 生成图像质量的技术，可以避免生成一些不符合预期的图像特征，比如画崩、变形、多余的部位等。原理是将一些不希望出现的图像特征转换为向量表示，然后作为负面提示，输入到 StableDiffusion 算法中，使得算法在优化过程中，尽量远离这些向量所代表的图像分布。

糖果世界 (Candy Land) 是一个充满甜蜜和奇幻的地方，由各种各样的糖果和巧克力构成。糖果世界是一个让人快乐和满足的地方，可以尽情地品尝各种美味的糖果和巧克力，不过，也要注意不要吃太多哦！

Stable Diffusion 的 Prompt 的功能，可以用文字来描述想要生成的图像，根据输入来创造出逼真的图像。Prompt 支持控制图像的风格、细节、场景等方面，让创意无限发挥。选中整行，再按 Delete，即可删除空行。重启 WebUI，即可以使用插件。

结合不同的风格，绘制全身图像，例如 赛博朋克 (Neonpunk)、幻想艺术 (Fantasy art)、影片风格 (Cinematic)、高增强 (Enhance) 等。全身图像是指拍摄对象的整个身体都在画面中的照片，可以展示人物的姿态、服装、气质等特点，也可以表达一种情绪或故事。全身图像的拍摄需要注意构图、光线、角度、姿势等方面。SDXL 的提示词一般不需要高质量、低质量等提示词，尽量简洁。

SDXL 是 Stable Diffusion 的最新版本，是潜在扩散模型，能够从文本描述中生成高分辨率、高质量、高逼真的图像。SDXL 版本相比于之前的版本，在文本理解、图像细节、色彩表现等方面都有显著的提升。SDXL 不仅能够生成写实风格的图像，也能够生成各种艺术风格的图像，例如卡通、油画、水彩、素描等，只需要在文本描述中加入相应的风格提示词，就可以让 SDXL 按照预定的设计来创作。

SDXL 1.0 版本是 Stable Diffusion 的最新版本，是基于潜在扩散模型的文本到图像生成技术，能够根据输入的任何文本生成高分辨率、高质量、高多样性的图像，具有以下特点：更好的成像质量：SDXL v1.0 版本能够以几乎任何艺术风格生成清晰、逼真、美观的图像，无论是风景、人物、建筑还是动物，都能呈现出细节和色彩，相比于之前的版本有着巨大的提升。更多的艺术风格：SDXL v1.0 版本相比于之前的版本，能够实现更多的风格，并且对于每种风格都能驾驭。

Stable Diffusion 图像生成工具是一种基于深度学习的技术，可以从随机噪声中生成高质量的图像，利用 Diffusion Probabilistic Models 的概率模型，逐步地将噪声转化为目标图像，同时保持图像的稳定性和多样性。文件夹，手动下载 https://github.com/cmdr2/stable-diffusion-ui.git/，即可，推荐使用。在系统中，需要包含 conda 环境，不需要额外创建，在运行过程中，在文件夹中，就会创建默认的环境。直接手动安装即可，即。

Stable Diffusion WebUI 是一款适合各类用户的图像生成工具，无论你是专业的设计师、艺术家、摄影师，还是普通的爱好者、学习者，都可以在这里发挥你的创意和想象力，生成你想要的图像。

当前 Stable Diffusion 模型使用基础的，即。Stable Diffusion 的正向提示词是一种用来描述想要生成的图像的语言，可以通过不同的词语、符号、权重和相关性来控制生成图像的内容、风格和质量。正向提示词可以根据不同的场景和需求进行灵活的选择和组合，以达到理想的效果。

真正的首个可以称之为人造人的“墨幽”。完全真正对墨幽进行了跨世代的全面升级。

AWPortrait1.1的创作过程其实是思考真实人像和AI生成影像视觉上的区别是什么的过程，希望AWPortrait能够在AI模拟人像摄影的真实度探索上再进一步；AI只是创作工具，只有每个人无可取代的想象力，才能开启属于我们独特的虚拟摄影之旅。

Stable Diffusion 是一种基于扩散模型的AI绘画技术，可以根据文本或图像生成高质量的图像，原理是通过不断去除噪音来逐渐恢复目标图像。Extension是一种扩展功能，可以提供更多的选项和操作性，例如改变风格、扩展画布、修复图像等，通常是由第三方开发者编写的 Python 脚本，可以通过 GitHub 或其他平台下载安装。

StableSR 算法提出了一种新颖的方法，利用预训练的文本到图像扩散模型中封装的先验知识，来实现盲超分辨率（SR）。具体来说，通过使用时间感知编码器，可以在不改变预训练的合成模型的情况下，实现令人满意的恢复结果，从而保留了生成先验并最小化了训练成本。为了弥补扩散模型固有的随机性造成的保真度损失，引入了一个可控的特征包裹模块，允许用户在推理过程中通过简单地调整一个标量值来平衡质量和保真度。此外，开发了一种渐进式聚合采样策略，以克服预训练扩散模型的固定尺寸限制，使其能够适应任何尺寸的分辨率。

ControlNet 是神经网络结构，用于控制预训练的大型扩散模型，以支持额外的输入条件。ControlNet 以端到端的方式学习任务特定的条件，即使训练数据集很小（< 50k），学习也是稳健的。此外，训练一个 ControlNet 和微调一个扩散模型一样快，而且，模型可以在个人设备上训练。或者，如果有强大的计算集群可用，模型可以扩展到大量（百万到十亿）的数据。Stable DIffusion 这样的大型扩散模型可以用 ControlNets 来增强，以实现条件输入，如边缘图、分割图、关键点等。

LaMa:尽管现代图像修复系统已经取得了显著的进步，但是在处理大面积缺失、复杂的几何结构和高分辨率图像方面，常常面临挑战。其中一个主要的原因是修复网络和损失函数中缺乏有效的接收视野。为了解决这个问题，提出了一种新的方法，称为LaMa 修复网络在一系列数据集上改进了最新的技术水平，并且在面临挑战的情况下，例如完成周期性结构，也取得了优秀的性能。LaMa 模型令人惊讶地能够很好地适应训练时未见过的更高分辨率，且在参数和时间成本上比竞争基线更低。

sd-webui-prompt-all-in-one 是一个基于 stable-diffusion-webui 的扩展，目的是提高提示词反向提示词插件支持多种翻译接口，有些是免费的，有些是需要申请 API KEY 的。可以根据自己的需要选择合适的翻译接口，还包括一些自定义主题和其他高级功能。具体功能，请参考，替换修改重新启动，即可。配置百度翻译，参考：https://bobtranslate.com/service/translate/baidu.html设置路径：不要配置，否则卡住。点击。

ReV Animated v1.2.2 模型能够创建类似 2.5D 的图像生成。该模型是 checkpoint 合并，是其他模型的产物，以创建源自原始模型的产品。

Adobe Photoshop 是一款专业的图像处理软件，广泛应用于平面设计、摄影、插画、视频制作等领域，可以对各种格式的图片进行编辑、修饰、合成、优化等操作，创造出高质量的视觉效果。Adobe Photoshop 的功能非常强大，包括图层、通道、滤镜、画笔、文字、路径、变形等多种工具，可以满足不同用户的需求和创意，也支持扩展插件，可以增加更多的功能和效果。全部安装完成，即可独立使用 Photoshop 的 2023 版本，便捷高效。注意：安装之前，需要卸载之前的 Adobe 启动器，否则发生冲突！

After Detailer 是一个用于 Stable Diffusion Webui 的扩展插件，可以自动检测、遮盖和修复图片中的人脸、手部或全身，使用 ultralytics 的检测模型，而不是 mmdet 的检测模型。

Stable Diffusion 的 Prompts 是一种用于生成文本的技术，可以根据给定的关键词和特征，生成符合用户需求的内容。优点是，可以保持文本的一致性和连贯性，避免出现重复或矛盾的信息。原理是，使用了一种基于梯度下降的算法，来优化文本的质量和适应性。应用场景是，可以用于生成各种类型的文本，如新闻、故事、诗歌、代码等，只要给出合适的关键词和特征，就可以得到满意的结果。Embeddings。

在 Stable Diffusion 中，局部重绘(Inpaint)功能是一种可以让你在图像上删除不想要的区域，并用周围的像素自动填充的功能。这样，你可以轻松地修复瑕疵，去除干扰物，或者创造新的效果。

在使用ChatGPT和StableDiffusion结合的时候，需要注意检查生成的提示和图像是否符合自己的目标和标准，并遵守相关的规则和法律。模型：Base:，2.5D 动画模型。负向提示词的Embedding，其中，提示词数量在有些情况下，有些问题。使用脚本，进行批量生成。