Anyline是一种高效、准确且详细的ControlNet线条检测预处理器,可以准确地从大多数图像中提取对象边缘、图像细节和文本内容。用户可以输入任何类型的图像,快速获得边缘清晰、细节保存充足、文本保真度高的线条图,然后作为输入在Stable Diffusion中进行条件生成。也是当前最好的SD边线提取工具。
相关链接
模型下载链接:https://pan.baidu.com/s/1ik11P_u1vK8mI4q33v0MTQ?pwd=v8f1 提取码:v8f1
ComfyUI地址:https://github.com/TheMistoAI/ComfyUI-Anyline/blob/main/Anyline%2BMistoLine_ComfyUI_workflow.json
论文:https://arxiv.org/abs/2308.06468
技术细节
Anyline 中使用的模型和算法基于“边缘检测泛化 (TEED) 的微型高效模型”论文《Tiny and Efficient Model for the Edge Detection Generalization》的创新成果。ComfyUI中的TEED预设也源于这项工作,标志着它是一种强大的视觉算法(TEED是目前最先进的)。
与其他线提取预处理器的比较
Anyline使用的处理分辨率为1280px,因此在此分辨率下进行比较。与其他常用的线条预处理器相比,Anyline 在轮廓精度、物体细节、材质纹理和字体识别(特别是在大场景中)方面具有显着的优势。它在大多数场景中的降噪方面也表现得更好,从而实现更清晰的图像处理,并减少生成过程中的不准确性。
效果概述
Anyline 与 Mistoline ControlNet 模型相结合,形成完整的 SDXL 工作流程,最大限度地提高精确控制并利用 SDXL 模型的生成能力。 Anyline 还可以与 SD1.5 的 ControlNet 一起用于 SD1.5 工作流程,尽管它通常在 SDXL 工作流程中的 Anyline+MistoLine 设置中表现更好。
ComfyUI工作流程
安装后,可以通过搜索或右键单击在ComfyUI中访问 Anyline 预处理器。 SDXL中使用Anyline+Mistoline的标准工作流程如下。ComfyUI工作流下载链接在上面👆。
在sd-webui-controlnet中使用
局限性和未来发展
Anyline可能会遇到类似相机模糊或柔焦的图像遇到困难,并且可能需要根据社区反馈进行迭代。
我们还计划联系ComfyUI的作者或ComfyUI-Controlnet的开发者,将Anyline集成到ComfyUI中,以便将来更方便地使用。