大模型简介
就在上周末,国内大厂快手开源了可图大模型文生图模型,这是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。
-
• Kolors 是在数10亿图文对下进行训练,
-
• 在 视觉质量、复杂语义理解、文字生成(中英文字符) 等方面,相比于当前业界开源/闭源模型,都展示出了巨大的优势。特别是在中文文字生成方面领先于当前所有业界模型。
-
• Kolors 支持中英双语,在中文特色内容理解方面更具竞争力。
研发团队构建了 KolorsPrompts 评估集,该数据集涵盖 14 个垂直领域,包含 12 个挑战项,共计 1000 余个文生图 prompt。基于 KolorsPrompts,团队收集了 Kolors 与当前主流开源/闭源 SOTA 系统的文生图生成结果,并开展了人工评测与机器评测的双重评估。
人工评测
研发团队邀请了50个业界领域专家对生成图像打分,评估维度包括:画面质量、图文相关性、整体满意度三个方面。结果表明:Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。
机器评测
研发团队采用 MPS(Multi-dimensional Human preference Score) 来模型评估。结果表明:Kolors 实现了最高的MPS 指标,这以结果与人工评估的指标一致。
官方演示
高质量人像
中国元素
复杂语义理解
文字渲染能力
Kolors大模型ComfyUI安装
当前快手已经提供了在线的Kolors文生图服务可使用,不想本地部署的同学可以使用在线服务体验:https://klingai.kuaishou.com/。
(需要Kolors大模型ComfyUI安装包的同学文末可自行扫描获取)
模型安装
如果需要本地部署,则使用社区的ComfyUI-KwaiKolorsWrapper插件实现。
-
• 首先需要更新ComfyUI到最新版本,然后通过ComfyUI插件管理器安装ComfyUI-KwaiKolorsWrapper。插件地址为:https://github.com/kijai/ComfyUI-KwaiKolorsWrapper。
-
• 下载ChatGLM3量化模型,并放置在本地目录ComfyUI/models/LLM/checkpoints。模型地址为:https://hf-mirror.com/Kijai/ChatGLM3-safetensors/tree/main 。这里提供了3种量化权重文件,根据本地显存选择合适模型权重。对于小显存建议直接chatglm3-4bit.safetensors。
-
• 下载Kolors模型,本模型会在首次运行时自动下载(切记科学!!!),并放置在ComfyUI/models/diffusers/Kolors目录下。模型地址为:https://hf-mirror.com/Kwai-Kolors/Kolors/tree/main。
-
• 加载文末工作流文件,然后重启ComfyUI,即可开始体验。
本地模型结构为:
/ComfyUI/models/LLM/checkpoints
│ chatglm3-4bit.safetensors // 4bit、8bit、fb16中选择一个版本
/ComfyUI/models/diffusers/Kolors
│ model_index.json
│
├───scheduler
│ scheduler_config.json
│
├───text_encoder
│ config.json
│ pytorch_model-00001-of-00007.bin
│ pytorch_model-00002-of-00007.bin
│ pytorch_model-00003-of-00007.bin
│ pytorch_model-00004-of-00007.bin
│ pytorch_model-00005-of-00007.bin
│ pytorch_model-00006-of-00007.bin
│ pytorch_model-00007-of-00007.bin
│ pytorch_model.bin.index.json
│ tokenizer.model
│ tokenizer_config.json
│ vocab.txt
│
└───unet
config.json
diffusion_pytorch_model.fp16.safetensors
不同量化模型对应的显存要求如下所示:
文生图工作流
图生图工作流
Kolors与SD3工作流
Kolors和SD3评比体验
01:中文提示语
因为SD3输入提示语理解主要为英文,但Kolors是支持直接中文和英文双语提示的。SD3并没有收据木牌。
1个中国女孩,手举这木牌,木牌上写着文字“我爱你中华”。身穿中国古风旗袍,淡黄色旗袍,18岁女孩,年轻美貌
SD3效果:
Kolors效果:
02:中文渲染
Kolors中文渲染能力胜出。提示这里也能看出SD3手部问题明显大于Kolors。但都未很好的解决。笔者抽卡中感觉Kolors会更容易一些,因为巧妙的藏起来了,特别在后续多人场景更明显。
A Chinese girl holds up a wooden sign with the chinese words “我爱你中华” written on it. Dressed in ancient Chinese style cheongsam, light yellow cheongsam,
SD3效果:
Kolors效果:
03:中文元素与光影效果
在中文元素方面会Kolors稍强一些,但在光影效果方面SD3各有千秋。
A young model in Chinese dress poses, in front of divine light with silhouette light illuminating the edges of the long curly hair, snowflake, solid color red background, Excellent skin texture, gaze deeply, cheerful atmosphere, in the style of eye-catching resin jewelry, Beauty product advertising, photo
SD3效果:
Kolors效果:
04:人物写实
在人物写实艺术感和光影上SD3会更多变彩色元素融合,Kolors会贴近现实,各有千秋。
masterpiece, best quality, 1girl ((pure gradient background, )), long hair, floating hair, blush, looking at viewers, happy, ((front)),(upper body), (studio light), soft light, dark style, night style,Real photography
SD3效果:
Kolors效果:
05:玉莲花
笔者测试SD3中始终无法避免莲花底盘,笔者认为Kolors会更好些。
Three-dimensional ancient style, dazzling light and shadow, jade carving technology, jade and jade material, jade carving art composed of lotus and lotus seed, translucent jade petals, crystal clear texture, transparent light sense, carved murals, optical fiber effect, simple composition, commercial photography, studio lighting, luminous three-dimensional particles, natural light and shadow, beautiful light sense, light tracing, SSS material, Subsurface Reflection, Bioluminescence, Volume Light, Center Light, Contour Light, Light Penetration, Octane rendering, Soft focus, Scene depth, Soft Color, Advanced lighting, Film Light effect,3d rendering, Master Works, 8K
SD3效果:
Kolors效果:
06:动漫
动漫Kolors更有质感,Kolors对NSFW安全更严格。
Animation style, a female character with long, flowing hair that appears to be made of ethereal, swirling patterns resembling the Northern Lights or Aurora Borealis. The background is dominated by deep blues and purples, creating a mysterious and dramatic atmosphere. The character’s face is serene, with pale skin and striking features. She wears a dark-colored outfit with subtle patterns. The overall style of the artwork is reminiscent of fantasy or supernatural genres
SD3效果:
Kolors效果:
07:复杂提示语理解
复杂文本理解上SD3会稍强一些,Kolors包含ChatGLM3 LLM大语言加持。但后者能够巧妙的把手部问题隐藏起来,更机智。
3 fashionable young female models in dynamic poses, photorealistic, 8k resolution: Model 1 wearing a chic blue blouse and red pants, looking over her shoulder with a confident smile. Model 2 in a tight red mini dress, hair blowing dramatically as she strikes a playful pose. Model 3 with blue skinny jeans and a cropped red top, hands on hips exuding youthful attitude. Vibrant colors, sharp focus, dramatic lighting and depth of field. Capture a sense of youth, energy and movement in an urban setting like a city street or rooftop. Pay attention to details like makeup, accessories and fabric textures. Photographic style, no visible artifacts or unnatural elements. Aim for a fashionable, trendy and aspirational vibe that could appear in magazines or advertisements.
SD3效果:
Kolors效果:
总结,综合评估结果笔者感觉如Kolors的评估结果,对于中文语境的创作会显著优于SD3,特别对中文提示语支持,中文语言了解,以及ChatGLM3大语言模型的加持下。特别是在与可灵图生视频结合,极大的推进了国产AIGC迈进的里程碑。当然这只是感性评估,仁者见仁。
资料软件免费放送
次日同一发放请耐心等待
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈
(全套教程文末领取哈)
👉AI绘画必备工具👈
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉AI绘画基础+速成+进阶使用教程👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉12000+AI关键词大合集👈
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
