Stable Diffusion【二次元模型】:超级出色的动漫大模型Animagine XL 3.1介绍

本文详细介绍了动漫风格大模型AnimagineXL3.1,其基于StableDiffusionXL,强调结构化提示词、特殊标签的使用,以及与前代版本的对比。文章还探讨了AIGC技术在动漫生成中的应用前景。
摘要由CSDN通过智能技术生成

大家好,我是wdf。

今天给大家介绍的是一个动漫风格的大模型Animagine XL 3.1。

Animagine XL 3.1 基于 Stable Diffusion XL 构建,旨在通过生成准确而详细的动漫角色,成为动漫迷、艺术家和内容创作者的宝贵资源。

Animagine XL 3.1 是 Animagine XL V3 系列的升级更新,增强了之前的 Animagine XL 3.0版本,经过升级改进,可以生成更高质量的动漫风格图像。它增强了手部解剖结构能力、改进了概念理解和提示词解析能力。

一. Animagine XL 3.1模型使用指南

在C站官网给出了该模型的使用指南,这里我们梳理一下重点,以便加强对这个模型的理解和使用。

1. 结构化的提示词模版

Prompt:1girl/1boy, character name, from what series, everything else in any order.

提示词:1男孩/1女孩,什么角色,来自哪个系列,其他描述词

例如:

Prompt:1girl, tifa lockhart, final fantasy

提示词:女孩,蒂法·洛克哈特,最终幻想

当然我们也可以不参照官方的提示词模版,直接自己写提示词。不过最好还是按照官方的结构化提示词模版来写,这样效果最好。

2. 特殊标签

Animagine XL 3.1 利用特殊标签来指导最终生成图片结果的质量、评级、创建日期和美观。虽然模型可以生成没有这些标签的图像,但使用它们可以帮助获得更好的结果。

(1)质量标签:用于控制图片的质量

质量标签通过给标签评分,以确保平衡的质量分布。改进了标签以提高清晰度,例如将“高质量(high quality)”更改为“优质(great quality)”。

Quality Modifier	Score Criterion  
masterpiece(高质量)	        > 95%  
best quality(最好的质量)	> 85% & ≤ 95%  
great quality(优秀的质量)	> 75% & ≤ 85%  
good quality(高品质)	        > 50% & ≤ 75%  
normal quality(正常质量)	> 25% & ≤ 50%  
low quality(低质量)	        > 10% & ≤ 25%  
worst quality(最差质量)	≤ 10%

为了简单和清晰,简化了评级标签,旨在建立可应用于不同模型的全局规则。例如,标签“评级:一般(rating: general)”现在只是“一般(general)”,“评级:敏感(rating: sensitive)”已压缩为“敏感(sensitive)”。

Rating Modifier	    Rating Criterion  
safe	            General  
sensitive	    Sensitive  
nsfw	            Questionable  
explicit, nsfw	    Explicit

(2)年份标签

重新定义了年份的范围,以更准确地区分是特定的现代艺术风格还是复古动漫艺术风格。

Year Tag	Year Range  
newest(最新)	        2021 to 2024  
recent(最近)	        2018 to 2020  
mid(中期)	        2015 to 2017  
early(早期)	        2011 to 2014  
oldest(最老)	        2005 to 2010

(3)美学标签

通过美观标签增强图片的画面美观程度,根据视觉吸引力完善内容分类。这些标签源自专门的 ViT(Vision Transformer)图像分类模型所做的评估,该模型专门针对动漫数据进行了训练。为此,使用了模型shadowlilac/aesthetic-shadow-v2,它在接受训练之前评估内容的美学价值。这确保了每条内容不仅相关且准确,而且具有视觉吸引力。

Aesthetic Tag	                    Score Range  
very aesthetic(非常美观)	       > 0.71  
aesthetic(审美)	               > 0.45 & < 0.71  
displeasing(令人不愉快的)	       > 0.27 & < 0.45  
very displeasing(非常令人不愉快的)     ≤ 0.27

上面介绍的推荐标签,大家在写提示词的时候注意一下这些关键词的描述即可。

3. 推荐设置

(1)正向提示词

为了获得更高质量的结果,在正向提示前添加以下关键词

masterpiece, best quality, very aesthetic, absurdres

(2) 反向提示词

为了引导模型生成高美观的图像,使用负面提示词

nsfw, lowres, (bad), text, error, fewer, extra, missing, worst quality, jpeg artifacts, low quality, watermark, unfinished, displeasing, oldest, early, chromatic aberration, signature, extra digits, artistic error, username, scan, [abstract]

(3)该模型推荐的参数设置:

  • 采样器:Eular a

  • 采样迭代步数:低于30

  • CFG:5-7

(4)分辨率

该模型支持生成以下尺寸的图像

Dimensions	Aspect Ratio  
1024 x 1024	1:1 Square  
1152 x 896	9:7  
896 x 1152	7:9  
1216 x 832	19:13  
832 x 1216	13:19  
1344 x 768	7:4 Horizontal  
768 x 1344	4:7 Vertical  
1536 x 640	12:5 Horizontal  
640 x 1536	5:12 Vertical

4. 局限性

(1)以动漫为中心:此模型专为生成动漫风格的图像而设计,不适合创建逼真的照片。

(2)提示词复杂性:此模型可能不适合希望通过简短提示词获得高质量结果。该模型的重点是概念理解而不是审美细化,因此可能需要更详细和更具体的提示词才能实现想要的效果。

(3)提示词格式:Animagine XL 3.1 针对 Danbooru 风格的标签而不是自然语言提示词进行了优化。为了获得最佳结果,鼓励用户使用适当的标签和语法来格式化提示词。

(4)解剖学和手部渲染:尽管在解剖学和手部渲染方面做出了改进,但仍然存在模型在这些领域产生次优结果的情况。

(5)数据集大小:用于训练 Animagine XL 3.1 的数据集包含大约 870,000 张图像。与上一次迭代的数据集(120 万)相结合,总共训练的数据约为 210 万张图像。尽管数据集大小很大,但对于“终极”动漫模型来说,该数据集大小仍可能被认为是有限的。

(6)NSFW 内容:Animagine XL 3.1 旨在生成更加平衡的 NSFW 内容。然而,值得注意的是,即使没有明确提示,该模型仍然可能产生 NSFW 结果。

Animagine XL 3.1的目标是为用户提供透明度并设定符合用户实际需求的模型。尽管存在这些限制,我们相信该模型代表了动漫风格图像生成的重要一步,并为艺术家、设计师和爱好者提供了强大的工具。

二. 模型下载地址和使用体验地址

模型下载地址

C站:https://civitai.com/models/260267

Huggingface: https://huggingface.co/cagliostrolab/animagine-xl-3.1/tree/main

TensorArt

https://tensor.art/models/706485991197825616

模型使用体验地址

**Huggingface:**https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1

SeaArt.ai:https://www.seaart.ai/zhCN

三. 模型对比

1. Animagine XL 3.1 与Animagine XL 3.0

正向提示词:best quality, 1girl

反向提示词:worst quality, low quality, nomal quality, bad anatomy, NSFW

Animagine XL 3.0

Animagine XL 3.1​​

强光源、露出耳朵的发型、逆光感等主要特征依然存在,但Animagine XL 3.0特有的长缝眼睛和粉红脸颊不再明显,曝光度也有所降低。另外,在Animagine XL 3.0中,虽然有一种皮肤有光泽的感觉,但这种感觉也有所减弱,整体感觉更加平静。

此外,Animagine XL 3.1 中的线条比 Animagine XL 3.0 中的线条更细、更清晰,而且感觉不那么厚重和立体,使其更加平坦。

2. Animagine XL 3.1美学标签比较

从上面图片可以看出,美学标签对于图片中线条的清晰度和颜色的变化会产生一些影响。如果使用质量低的标签,手指可能会看起来断了。

3. Animagine XL 3.1年份标签比较

年份标签中年份长(oldest)并不意味着品质就会下降,可以根据自己需要的风格来使用。

红润、狭长、锐利的眼睛是newest、late才有的特征,而mid以下则较为自然。

4. Animagine XL 3.1年份标签和美学标签的效果比较

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。

END

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

若有侵权,请联系删除

  • 22
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
stable diffusion是一种用于模型精调的方法,它结合了自适应步长和噪声注入的技术,可以在训练过程中平衡模型的稳定性和探索性。下面是stable diffusion模型代码精调的一般步骤: 1. 数据准备:首先,你需要准备用于训练的数据集。这包括输入数据和对应的目标输出数据。确保数据集具有足够的多样性和覆盖性,以便模型可以学习到不同的模式和特征。 2. 模型选择:选择适合你任务的大模型架构,例如BERT、GPT等。根据任务的不同,你可能需要进行一些修改或添加额外的层来适应特定的需求。 3. 自适应步长:在训练过程中,使用自适应步长来平衡模型的稳定性和探索性。自适应步长可以根据模型在每个训练步骤中的表现来动态地调整学习率。这样可以避免训练过程中出现梯度爆炸或梯度消失的问题,并提高模型的收敛速度和稳定性。 4. 噪声注入:为了增加模型的鲁棒性和泛化能力,可以在训练过程中引入噪声。噪声可以是随机的输入扰动或者对输入数据进行随机变换。通过噪声注入,模型可以学习到更多的数据分布和模式,从而提高其泛化能力。 5. 损失函数选择:选择适合你任务的损失函数。常见的选择包括交叉熵损失、均方误差等。根据任务的不同,你可能需要自定义损失函数来满足特定的需求。 6. 训练和评估:使用准备好的数据集进行模型的训练和评估。在训练过程中,可以使用一些技巧来提高模型的性能,例如批量归一化、正则化等。同时,定期评估模型在验证集或测试集上的性能,并根据评估结果进行调整和优化。 7. 超参数调优:根据模型的表现和需求,对模型的超参数进行调优。超参数包括学习率、批量大小、正则化参数等。通过调优超参数,可以进一步提高模型的性能和泛化能力。 8. 模型保存和部署:在训练完成后,保存训练好的模型,并进行部署。部署可以是将模型应用于实际任务中,或者将模型提供给其他人使用。 希望以上步骤对你有所帮助!如果你有任何相关问题,请随时提问。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值