【Stablediffusion】阿里新突破 | In-Context-LoRA，Flux ID更强一致性，10种LoRA打造全方位设计解决方案！

最新推荐文章于 2025-03-08 18:14:51 发布

AI画师安琪

最新推荐文章于 2025-03-08 18:14:51 发布

阅读量1.2k

点赞数 30

文章标签： stable diffusion 人工智能 AIGC ai绘画人工智能作画 AI FLUX

本文链接：https://blog.csdn.net/2401_85725028/article/details/143770735

版权

今天，我们将向您介绍一款令人兴奋的更新——阿里In-Context-LoRA。这是一款基于Stable Diffusion技术的AI绘画工具，旨在为您提供一键式生成高质量图像的便捷体验。无论您是AI绘画的新手还是专业人士，这个工具都能为您带来极大的便利。

阿里In-Context-LoRA引入了Flux ID更强一致性功能，能够实现更真实、更美丽的图像生成效果。通过这个工具，您可以轻松地生成具有高度真实感的图像，让您的作品更加生动、有趣。此外，阿里In-Context-LoRA还具备多种图像生成风格和效果，能够满足您不同的创作需求。

在这个教程中，我们将详细介绍阿里In-Context-LoRA的使用方法和高级功能。通过这个工具，您可以轻松地实现Flux ID更强一致性，同时享受多种图像生成风格和效果。同时，我们还将提供全网最详细的Stable Diffusion阿里In-Context-LoRA使用方法和参数设置诀窍，让您能够更好地掌握这个工具。

在这里插入图片描述

所以，如果您对Stable Diffusion和阿里In-Context-LoRA充满好奇，或者想要尝试一下这个有趣的功能，那就赶紧试试吧！它将会给您带来无尽的惊喜和乐趣！

阿里重磅发布基于Flux的In-Context-LoRA项目–适用于扩散变压器的上下文 LoRA，可以一次性生成多个分镜头，并保持分镜头人物的ID一致性。更有：

情侣头像设计
字体设计
家居装饰
肖像插画
人物摄影
PPT模版
沙尘暴视觉效果
烟火视觉效果
视觉识别设计

等10款In-Context-LoRA。

#01

/介绍

阿里团队发布了一款名为In-Context LoRA 的微调文生图框架（基于ai-toolkit），该框架能够生成具有可定制内在关系的图像集，可以选择性地基于一组图像进行条件生成，从而实现对广泛任务的适应。

在使用扩散变换器（DiTs）框是进行任务无关图像生成的方法，是通过简单地在图像间连接注意力令牌。然而，尽管投入了大量的计算资源，生成图像的保真度仍然不尽如人意。阿里研发团队采用了通过假设文本到图像的DiTs天生就具有上下文生成能力，只需要最小的调整就能激活它们，重新评估并简化了框架。并通过多样化的任务实验，定性地证明现有的文生图的DiTs架构是可以在没有任何调整的情况下有效地执行上下文生成。基于这一洞见，研发团队提出了一个非常简单的流程来利用DiTs的上下文能力：

(1) 连接图像而不是标记

(2) 执行多个图像的联合字幕

(3) 应用特定于任务的 LoRA 调整使用小数据集（例如， 20∼100 样本）而不是使用大型数据集进行全参数调整。

In-Context LoRA（IC-LoRA）方法不需要对原始DiT模型进行任何修改，只需要改变训练数据。IC-LoRA流程生成了高保真度的图像集，具有更好地遵循提示。虽然在调整数据方面是任务特定的，但是IC-LoRA框架在架构和流程上仍然是任务无关的。

• Github：https://github.com/ali-vilab/In-Context-LoRA

• huggface：https://huggingface.co/ali-vilab/In-Context-LoRA/tree/main

• 项目主页：https://ali-vilab.github.io/In-Context-LoRA-Page/

#02

/使用

主要效果：

（1）现今的文本至图像模型已能够产生在身份特征、风格特点、光照效果及字体样式上保持高度一致性的多面板输出结果，尽管其间仍不乏细微瑕疵。

（2）FLUX.1-dev在解析并呈现包含多个面板组合的提示信息时，展现出了卓越的能力。

主要特点

高质量的连续图像生成：In-ContextLoRA支持三连图、四连图的高质量生成，使得用户可以轻松创建一系列具有连贯性的视觉内容。
广泛的应用场景：该工具的应用场景广泛，不仅适用于四格漫画和电影分镜的制作，还可以用于摄影写真等创意领域，为用户提供了极大的便利。
基于FLUX架构的微调：In-ContextLoRA基于FLUX架构，仅需少量样本即可完成特定任务的微调，这大大降低了技术门槛和成本。
写实与风格化对比图像生成：该工具能够同时生成写实与风格化的对比图像，为用户提供了更多的创意选择。

应用前景

创意内容制作：In-ContextLoRA为创意内容制作提供了强大的技术支持，使得个人和团队能够轻松创作出具有个性的视觉作品。
教育和培训：在教育和培训领域，In-ContextLoRA可以用于制作教学材料和模拟场景，提高学习效率和效果。
娱乐和游戏：In-ContextLoRA的应用还可以扩展到娱乐和游戏行业，为游戏角色设计和动画制作提供新的可能性。

主要假设：

文本到图像模型本质上具有上下文生成功能它保持一致的属性，例如主体身份、风格、照明条件和调色板，同时修改姿势、3D 方向和布局等其他方面。

提供10种不同风格的Flux LORA模型供用户使用。

如果已经安装过Flux模型体验，仅需导入工作流，并下载对应风格LORA模型即可。风格包括：情侣头像设计（Couple Profile Design）、电影故事板（Film Storyboard）、字体设计（Font Design）、家居装饰（Home Decoration）、肖像画（Portrait Illustration）、肖像摄影（Portrait Photography）、PPT模板（PPT Template）、沙尘暴视觉效果（Sandstorm Visual Effect）、烟花视觉效果（Sparklers Visual Effect）、视觉身份设计（Visual Identity Design。另外，最新BizyAir也已经支持，低显存用户可考虑。

10 款 In-Context-LoRA 国内下载：https://hf-mirror.com/ali-vilab/In-Context-LoRA/tree/main

具体模型以及示例提示词：

任务	模型	推荐大小	示例提示词
1. Couple Profile Design 情侣头像设计	`couple-profile.safetensors`	`width: 2048, height: 1024`	`This two-part image portrays a couple of cartoon cats in detective attire; [LEFT] a black cat in a trench coat and fedora holds a magnifying glass and peers to the right, while [RIGHT] a white cat with a bow tie and matching hat raises an eyebrow in curiosity, creating a fun, noir-inspired scene against a dimly lit background.` 这张由两部分组成的图片描绘了一对穿着侦探服装的卡通猫；[左]一只身穿风衣、头戴软呢帽的黑猫拿着放大镜凝视着右边，而[右]一只打着领结、戴着相配帽子的白猫好奇地扬起眉毛，在昏暗的背景下创造了一个有趣的黑色风格的场景。
2. Film Storyboard 电影分镜	`film-storyboard.safetensors`	`width: 1024, height: 1536`	`[MOVIE-SHOTS] In a vibrant festival, [SCENE-1] we find <Leo>, a shy boy, standing at the edge of a bustling carnival, eyes wide with awe at the colorful rides and laughter, [SCENE-2] transitioning to him reluctantly trying a daring game, his friends cheering him on, [SCENE-3] culminating in a triumphant moment as he wins a giant stuffed bear, his face beaming with pride as he holds it up for all to see.` 在一个充满活力的节日里，[SCENE-1]我们发现，一个害羞的男孩，站在热闹的狂欢节边缘，对五颜六色的游乐设施和笑声睁大了眼睛，[SCENE-2]过渡到他不愿意尝试一个大胆的游戏，他的朋友们为他欢呼，[SCENE-3]在胜利的时刻达到高潮，他赢得了一个巨大的毛绒熊，他的脸上洋溢着骄傲，因为他把它举起来给所有人看。
3. Font Design 字体设计	`font-design.safetensors`	`width: 1792, height: 1216`	`The four-panel image showcases a playful bubble font in a vibrant pop-art style. [TOP-LEFT] displays "Pop Candy" in bright pink with a polka dot background; [TOP-RIGHT] shows "Sweet Treat" in purple, surrounded by candy illustrations; [BOTTOM-LEFT] has "Yum!" in a mix of bright colors; [BOTTOM-RIGHT] shows "Delicious" against a striped background, perfect for fun, kid-friendly products.` 四面板图像展示了一个充满活力的流行艺术风格的俏皮泡泡字体。[左上]以亮粉色的圆点背景显示“Pop Candy”；[右上]以紫色显示“Sweet Treat”，周围是糖果插图；[左下]用鲜艳的颜色组合着“Yum!”[右下]在条纹背景下显示“Delicious”，非常适合有趣的儿童友好型产品。
4. Home Decoration家居装饰	`home-decoration.safetensors`	`width: 1344, height: 1728`	This four-panel image showcases a rustic living room with warm wood tones and cozy decor elements; [TOP-LEFT] features a large stone fireplace with wooden shelves filled with books and candles; [TOP-RIGHT] shows a vintage leather sofa draped in plaid blankets, complemented by a mix of textured cushions; [BOTTOM-LEFT] displays a corner with a wooden armchair beside a side table holding a steaming mug and a classic book; [BOTTOM-RIGHT] captures a cozy reading nook with a window seat, a soft fur throw, and decorative logs stacked neatly. 这张四面板图像展示了一个质朴的客厅，温暖的木材色调和舒适的装饰元素；[左上]有一个巨大的石砌壁炉，里面有摆满书籍和蜡烛的木架子；[右上]展示了一张铺着格纹毯子的复古皮沙发，搭配了多种纹理的靠垫；[左下]展示了一个角落里的一张木扶手椅，旁边是一张边桌，上面放着一个热气腾腾的杯子和一本经典书籍；[右下]拍摄了一个舒适的阅读角，有一个靠窗的座位，柔软的毛皮垫子，以及整齐堆放的装饰性原木。
5. Portrait Illustration肖像插画	`portrait-illustration.safetensors`	`width: 1152, height: 1088`	This two-panel image presents a transformation from a realistic portrait to a playful illustration, capturing both detail and artistic flair; [LEFT] the photograph shows a woman standing in a bustling marketplace, wearing a wide-brimmed hat, a flowing bohemian dress, and a leather crossbody bag; [RIGHT] the illustration panel exaggerates her accessories and features, with the bohemian dress depicted in vibrant patterns and bold colors, while the background is simplified into abstract market stalls, giving the scene an animated and lively feel. 这两个面板的图像呈现了从一个现实的肖像到一个有趣的插图，捕捉细节和艺术天赋的转变；[左]照片中，一个女人站在熙熙攘攘的集市上，头戴宽边帽，身穿飘逸的波西米亚长裙，挎着皮质斜挎包；[右]插图面板夸张了她的配饰和特征，以充满活力的图案和大胆的色彩描绘了波西米亚的服装，而背景则简化为抽象的市场摊位，给场景带来了动画和活泼的感觉。
6. Portrait Photography 人像摄影	`portrait-photography.safetensors`	`width: 1344, height: 1728`	This [FOUR-PANEL] image illustrates a young artist's creative process in a bright and inspiring studio; [TOP-LEFT] she stands before a large canvas, brush in hand, adding vibrant colors to a partially completed painting, [TOP-RIGHT] she sits at a cluttered wooden table, sketching ideas in a notebook with various art supplies scattered around, [BOTTOM-LEFT] she takes a moment to step back and observe her work, adjusting her glasses thoughtfully, and [BOTTOM-RIGHT] she experiments with different textures by mixing paints directly on the palette, her focused expression showcasing her dedication to her craft. 这张 [四联画] 展示了一位年轻艺术家在明亮而鼓舞人心的工作室中的创作过程；[左上] 她站在一块大画布前，手拿画笔，为一幅未完成的画作增添鲜艳的色彩；[右上] 她坐在一张杂乱的木桌前，在散落着各种美术用品的笔记本上勾勒出想法；[左下] 她花了一点时间退后一步观察自己的作品，若有所思地调整眼镜；[右下] 她直接在调色板上混合颜料，尝试不同的纹理，她专注的表情展现了她对自己作品的奉献精神。
7. PPT Template PPT模版	`ppt-templates.safetensors`	`width: 1984, height: 1152`	`This four-panel image showcases a rustic-themed PowerPoint template for a culinary workshop; [TOP-LEFT] introduces "Farm to Table Cooking" in warm, earthy tones; [TOP-RIGHT] organizes workshop sections like "Ingredients," "Preparation," and "Serving"; [BOTTOM-LEFT] displays ingredient lists for seasonal produce; [BOTTOM-RIGHT] includes chef profiles with short bios.` 这张四面板图片展示了一个烹饪工作坊的乡村主题 PowerPoint 模板；[左上] 用温暖、朴实的色调介绍了“从农场到餐桌的烹饪”；[右上] 组织了“配料”、“准备”和“上菜”等工作坊部分；[左下] 展示了时令农产品的配料清单；[右下] 包括带有简短简历的厨师资料。
8. Sandstorm Visual Effect 沙尘暴视觉效果	`sandstorm-visual-effect.safetensors`	`width: 1408, height: 1600`	[SANDSTORM-PSA] This two-part image showcases the transformation of a cyclist through a sandstorm visual effect; [TOP] the upper panel features a cyclist in vibrant gear pedaling steadily on a clear, open road with a serene sky in the background, highlighting focus and determination, [BOTTOM] the lower panel transforms the scene as the cyclist becomes enveloped in a fierce sandstorm, with sand particles swirling intensely around the bike and rider against a stormy, darkened backdrop, emphasizing chaos and power. [SANDSTORM-PSA] 这张由两部分组成的图片通过沙尘暴的视觉效果展示了骑行者的变化；[顶部] 上图展示了一名骑行者身着鲜艳装备，在清澈开阔的道路上稳步骑行，背景是宁静的天空，强调了专注和决心；[底部] 下面板展示了骑行者被猛烈的沙尘暴笼罩时的场景，沙粒在暴风雨般黑暗的背景下在自行车和骑行者周围激烈地旋转，强调了混乱和力量。
9. Sparklers Visual Effect 烟火视觉效果	`sparklers-visual-effect.safetensors`	`width: 960, height: 1088`	`[REAL-SPARKLERS-OVERLAYS] The two-part image vividly illustrates a woodland proposal transformed by sparkler overlays; [TOP] the first panel depicts a man kneeling on one knee with an engagement ring before his partner in a forest clearing at dusk, with warm, natural lighting, [BOTTOM] while the second panel introduces glowing sparklers that form a heart shape around the couple, amplifying the romance and joy of the moment.` [真实烟花覆盖] 这张由两部分组成的图片生动地展示了一场由烟花覆盖而产生的林地求婚场景；[顶部] 第一幅图片描绘了一位男士在黄昏时分的森林空地上，手拿订婚戒指单膝跪在他的伴侣面前，周围是温暖的自然灯光；[底部] 而第二幅图片则展示了发光的烟花，它们在情侣周围形成了一个心形，放大了那一刻的浪漫和喜悦。
10. Visual Identity Design 视觉识别设计	`visual-identity-design.safetensors`	`width: 1472, height: 1024`	`The two-panel image showcases the joyful identity of a produce brand, with the left panel showing a smiling pineapple graphic and the brand name “Fresh Tropic” in a fun, casual font on a light aqua background; [LEFT] while the right panel translates the design onto a reusable shopping tote with the pineapple logo in black, held by a person in a market setting, emphasizing the brand’s approachable and eco-friendly vibe.` 这张双面板图像展示了一个农产品品牌的欢乐形象，左侧面板展示了一个微笑的菠萝图形和品牌名称“Fresh Tropic”，在浅绿色背景上采用了有趣、休闲的字体；[左] 而右侧面板将设计转化为一个可重复使用的购物手提袋，上面有黑色的菠萝标志，由市场环境中的人拿着，强调了该品牌平易近人和环保的氛围。