文生图的开源大模型

最新推荐文章于 2025-03-14 10:47:59 发布
最新推荐文章于 2025-03-14 10:47:59 发布
阅读量1.2k 收藏 16
点赞数 3
文章标签： python 人工智能作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45689158/article/details/140517940
版权

文生图的开源大模型

1.Playground v2.5

  • *Huggingface模型下载：*https://huggingface.co/playgroundai

  • *AI**快站模型免费加速下载：*https://aifasthub.com/models/playgroundai

Playground v2.5 在审美质量方面显著超越当前最先进的开源模型 SDXL 和 PIXART-α，以及 Playground v2。由于 Playground V2.5 和 SDXL 之间存在较大的性能差距，因此官方还将它与当前闭源模型如 DALL-E 3 和 Midjourney 5.2 进行了审美质量比较，发现 Playground v2.5 也比这些闭源模型相比表现会更好。

2.腾讯混元DiT架构大模型

链接：https://github.com/Tencent/HunyuanDiT

3.Stable Diffusion

4.Open Sora

文生视频，复现的sora论文

[github.com](https://github.com/hpcaitech/Open-Sora)

5.Stable Video Diffusion

是Stability Al发布的视频生成大模型。

https://github.com/Stability-AI/generative-models

6.MoneyPrinterTurbo

github地址：https://github.com/harry0703/MoneyPrinterTurbo

7.sora平替! StreamingT2V:根据文字提示生成2分钟的视频

https://t.co/h8nsZR8IHv

8.AnimateDiff：成熟的图生视频sd插件!

开源地址：https://github.com/guoyww/animatediff

9.StoryDiffusion：开源的AI故事创作项目，支持生成剧情漫画和故事视频！

github地址：https://github.com/HVision-NKU/StoryDiffusion

10.高效方法！Video-LAVIT：开源图文视频生成大模型! 2

项目地址:https://video-lavit.github.io

11.想动哪里点哪里!创新图生视频模型"Follow Your Click"开源!

想动哪里点哪里!创新图生视频模型"Follow Your Click"开源!

12.Animate Anyone：自动生成动画元素，让照片起舞！

https://github.com/HumanAIGC/AnimateAnyone

13.MuseV：生成表情自然的虚拟人视频新工具！

项目地址：https://github.com/TMElyralab/MuseV

14.腾讯AniPortrait比阿里EMO先开源！

github地址：https://github.com/Zejun-Yang/AniPortrait

15.Champ ：国外开源的让照片跳舞的AI项目！

https://github.com/fudan-generative-vision/champ

16.DreamTalk ：单张图像一键生成说话视频!

github：https://github.com/ali-vilab/dreamtalk

17.开源!AniTalker:一张照片和输入音频生成生动的能说话的面部视频

GitHub: https://github.com/X-LANCE/AniTalker

18.VASA-1:实现从静态图像和一段语音生成逼真的对话面部动画

https://www.microsoft.com/en-us/research/project/vasa-1/

参考链接：

建议收藏！16个文生视频/图生视频AI开源大模型项目专题汇总！ - 哔哩哔哩 (bilibili.com)

零戚
关注
大模型——CogView4：生成中英双语高清图片的开源文生图模型综合介绍
03-04 3737
CogView4 是由清华大学 KEG 实验室（THUDM）开发的一款开源文生图模型，专注于将文本描述转化为高质量图像。它支持中英双语提示词输入，尤其擅长理解中文提示并生成带有汉字的图像，非常适合广告设计、短视频创作等场景。作为首个支持在画面中生成汉字的开源模型，CogView4 在复杂语义对齐和指令跟随能力上表现出色。它基于 GLM-4-9B 文本编码器，支持任意长度的提示词输入，并能生成高达 2048 分辨率的图像。
（6-2-01）模型训练：文生图大模型的训练策略（1）
码农三叔
09-18 867
在这个例子中，使用预训练的ResNet模型提取图像特征，并使用预训练的BERT模型提取文本特征，然后将这些特征用于两个不同的任务：图像分类和文本分类。该模型结合了图像和文本信息，使用预训练的ResNet模型提取图像特征，使用预训练的BERT模型提取文本特征，并将两者融合后进行分类任务。（4）最后，创建模型的实例，并随机生成了图像特征和文本特征作为输入，将其输入模型进行前向传播，得到模型的输出结果。在训练文生图大模型的过程中，采用适当的训练策略至关重要，这些策略有助于提高模型的性能、稳定性和泛化能力。
Flux.1开源文生图模型本地化部署并实现远程制作高质量AI图片
ks_wyf的博客
11-09 3116
Flux.1开源文生图模型本地化部署并实现远程制作高质量AI图片
【文生图系列】文生图大模型合集与效果对比
热门推荐
陶将的博客
07-06 2万+
本篇博文粗略了介绍了OpenAI的DALL E系列，百度的ERNIE-ViLG系列，google的Imagen，MidJourney，Stable Diffusion，智源研究院的AltDiffusion，英伟达的eDiff-I和阿里的通义文生图大模型，并进行了效果对比。
【文生图】一篇大白话讲清楚开源大模型stable diffusion原理
最新发布
m0_71746299的博客
03-14 992
​ 最近喜欢看魔术，惊叹于魔术师的神奇手法，以及魔术师脑洞大开的创意，通过科技、训练、创意将艺术融合在舞台上，给观众呈现出一场场精美的表演。峰哥突发奇想，大模型就像是一个魔术，我们在感叹大模型神奇能力的时候，每个观看魔术的人都很好奇，也都想看到魔术揭秘，那么今天，就通过一个通俗易懂的大白话来试着讲一讲stable diffusion大模型的原理。​ 下图是在网上找到的stable diffusion的原理图，我们看到整体分为三部分。
9款最新文生图模型汇总！含华为、谷歌、Stability AI等大厂创新模型（附论文和代码）
2401_82426425的博客
01-23 6355
本文提出了Imagen，一款新型的文本到图像扩散模型，实现了极高的真实感和深度语言理解。本文提出了DreamBooth，一种个性化文生图模型，它通过微调预训练的文生图模型，如Imagen，将一个独特的标识符与某个物体绑定，这样模型就可以在含有该标识符的prompt下，在不同场景中生成包含该物体的新颖图片。本文提出了SDXL Turbo，它在 SDXL 1.0 的基础上进行迭代，并为文本到图像模型实现了一种新的蒸馏技术：对抗扩散蒸馏（ADD），能够高效地从大规模基础图像扩散模型中采样，同时保持高质量图像。
文生图模型开源之光！ComfyUI - AuraFlow本地部署教程
SJJS_1的博客
12-09 1761
AuraFlow 是唯一一个真正开源的文生图模型，由Fal团队开源，其代码和权重都放在了 FOSS 许可证下。基于 6.8B 参数优化模型架构，采用最大更新参数化技术，还重新标注数据集提升指令遵循质量。在物体空间和色彩上有优势。并支持在线试用和与主流平台集成。未来有望在多领域广泛应用，以开源特色和强大实力吸引更多用户和开发者。下面将介绍AuraFlow的本地部署教程，希望能帮助到大家~
文生图开源模型发展史（2014-2025年）
Liudef06的博客
02-28 1405
文生图开源模型的发展本质是技术民主化的进程：从学术论文到社区共创，从英文主导到多语言平等，从娱乐工具到生产力革命。混元DiT等中文模型的开源，标志着生成式AI进入“文化适配性”竞争的新阶段。未来，文生图技术将继续在技术创新、生态繁荣和商业化应用等方面取得更多突破和进展。
介绍几个热门的文生图开源模型
CSDNDN的博客
06-07 3490
Openjourney是一个免费的开源文本到图像模型,它生成的AI艺术风格类似于Midjourney,因为它是在超过12.4万张Midjourney v4图像的数据集上进行训练的。该模型是在广泛的laion-aesthetics v2 5+数据集上进行训练的,并且在512×512像素的分辨率下进行了595,000次的微调,因此具有根据任何给定文本输入生成高度逼真图像的卓越能力。通过在大型图像数据集上的训练,该模型对图像特征有了更深入的理解,从而生成出更加栩栩如生的图像。
腾讯混元文生图大模型开源！ Sora 同架构，可免费商用
m0_68969027的博客
05-24 338
为了给模型提供高质量、类目均衡的样本，同时降低训练数据分布变化带来的风险，腾讯混元文生图团队提出了数据班车的机制，通过对比线上模型与变化样本分布后的模型效果的方式，从主体、风格、场景等多角度评估训练样本改变对模型带来的收益情况，并且形成了可迭代的训练样本调整机制。同时，基于开放、前沿的混元文生图基础模型，将有利于在以 Stable Diffusion 等为主的英文开源社区之外，丰富以中文为主的文生图开源生态，形成更多样的原生插件，推动中文文生图技术研发和应用。近期，腾讯混元文生图大模型全面升级并对外开源。
最新动态一致的文生视频大模型FancyVideo部署
m0_71062934的博客
09-20 617
FancyVideo是由360AI团队与中山大学联合开发的一种创新视频生成模型。 FancyVideo模型基于UNet架构，旨在解决现有视频生成模型在动作连贯性和情节流畅性方面存在的问题。 FancyVideo通过引入跨帧文本引导模块(Cross-frame Textual Guidance Module, CTGM)来改进现有的文本控制机制。 实验结果表明，FancyVideo在EvalCrafter Benchmark上的定量评估和其他T2V模型相比，在视频生成质量、文本一致性、运动性和时序一致性方面均
OpenAI文生视频大模型Sora概述
ASS-ASH的博客
02-22 2820
Sora的发布引发了关于虚假信息传播的争议。OpenAI将视频和图像表示为Patch，类似于GPT中的token，这种统一的数据表示方式使得Sora能够在更广泛的视觉数据上进行训练，涵盖不同的持续时间、分辨率和纵横比，有助于模型学习到更丰富的视觉特征，提高生成视频的质量和多样性。Sora是一种扩散模型，具备从噪声中生成完整视频的能力，它生成的视频一开始看起来像静态噪音，通过多个步骤逐渐去除噪声后，视频也从最初的随机像素转化为清晰的图像场景，其能够一次生成多帧预测，确保画面主体在暂时离开视野时仍保持一致。
Stable Diffusion 3 大模型文生图“开源英雄”笔记本部署和使用教程，轻松实现AI绘图自由
老牛啊
06-18 2181
Stability AI正式开源了Stable Diffusion 3 Medium 文生图大模型，它仅20亿参数，就能够生成更高质量和更细腻的图片；因模型尺寸较小，它适合在个人PC、笔记本电脑上运行。老牛同学手把手部署和体验SD3……
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！
不积跬步，无以至千里！
03-27 9745
文生图大模型Stable Diffusion的前世今生！
DeepSeek 开源新一代文生图模型 Janus-Pro！
u012744245的博客
02-14 411
1月28日，DeepSeek 开源了一个文生图模型，旨在实现高质量的文本-图像生成与多模态理解。是一种新颖的自回归框架，统一了多模态理解和生成。通过将视觉编码解耦为独立路径，同时利用单一的统一 Transformer 架构进行处理，解决了以往方法的局限性。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。
又一个大模型开源了！这次是腾讯，文生图免费商用
python12345678_的博客
05-18 2776
5 月 14 日，腾讯宣布旗下混元文生图大模型全面升级并全面开源，目前已在 Hugging Face 平台及 GitHub 上发布，包含模型权重、推理代码、模型算法等完整模型，可供企业与个人开发者免费商用。据了解，这是，支持中英文双语输入及理解，参数量 15 亿。升级后的混元文生图大模型采用了与 Sora 一致的 DiT 架构，即，不仅可以支持文生图，也可以作为视频等多模态视觉生成的基础。
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！_文生图大模型有哪些
月流霜的专栏
06-28 1489
值得注意的是，这里的tokenizer最大长度为77（CLIP训练时所采用的设置），当输入text的tokens数量超过77后，将进行截断，如果不足则进行paddings，这样将保证无论输入任何长度的文本（甚至是空文本）都得到77x768大小的特征。Latent Diffusion Models（潜在扩散模型，LDM）通过在一个潜在表示空间中迭代“去噪”数据来生成图像，然后将表示结果解码为完整的图像，让文图生成能够在消费级GPU上，在10秒级别时间生成图片，大大降低了落地门槛，也带来了文图生成领域的大火。
华为、清华等开源超高清、精准文生图模型，0.5秒极速生成！
weixin_43564920的博客
02-06 860
桌子上透明罐子里壮观的微小世界，大会堂内部，精心设计，雕刻建筑，解剖，象征，几何和参数化细节，精确的平面线细节，图案，黑暗幻想和难以表达的神秘情绪，技术设计，复杂的超细节，风格化和未来主义和仿生细节，建筑概念，低对比度细节，电影照明，8K，虚幻，逼真，超现实。美丽的女孩，雀斑，笑容灿烂，蓝色的眼睛，姜黄色的短发，深色的妆容，穿着花蓝色背心，柔和的光线，深灰色的背景，写实风格。而LCM通过预测增强的PF-ODE方法，将生成过程简化为几个微小步骤，以帮助模型用最快的速度生成高质量的图像。
部署本地文生图大模型
02-02
### 如何在本地环境中部署文本生成图片的大规模预训练模型 #### 准备环境 要在本地环境中成功部署文本生成图像的大规模预训练模型，首先需要准备合适的运行环境。这通常涉及到安装必要的依赖库以及配置硬件资源。 对于大多数现代的深度学习框架而言，推荐使用Python作为编程语言，并确保已安装最新版本的CUDA驱动程序以便利用GPU加速计算过程[^2]。具体来说： - 安装Anaconda或Miniconda来管理不同的虚拟环境； - 创建一个新的Conda环境并激活它； -n text_to_image python=3.9 conda activate text_to_image pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 下载预训练模型 接下来是从官方渠道下载所需的预训练权重文件。许多知名的开源项目都托管于GitHub仓库内，可以直接克隆整个项目获取完整的源码与参数文件。例如，在HuggingFace平台上存在大量高质量的多模态预训练模型可供选择。 假设要加载名为`CompVis/stable-diffusion-v1-4`的文字转图画模型，则可以通过如下方式完成初始化操作： ```python from diffusers import StableDiffusionPipeline import torch model_id = "CompVis/stable-diffusion-v1-4" device = "cuda" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to(device) ``` #### 配置服务接口 为了让其他应用程序能够方便地调用这个API端口，建议采用Flask或者FastAPI这样的轻量级Web框架搭建RESTful API服务器。这样不仅可以简化前后端交互逻辑，还便于后续维护升级。 以下是基于FastAPI创建简单HTTP POST请求处理器的例子： ```python from fastapi import FastAPI, UploadFile, File from PIL import Image import io app = FastAPI() @app.post("/generate/") async def generate(image: UploadFile = File(...), prompt: str = ""): img_bytes = await image.read() pil_img = Image.open(io.BytesIO(img_bytes)) with torch.no_grad(): output = pipe(prompt=prompt, image=pil_img) return {"result": output} ``` #### 测试与优化 最后一步是对上述设置进行全面测试，确认各项功能正常运作之后再考虑进一步优化性能表现。可能涉及调整批处理大小(batch size)，启用混合精度(half precision)运算等方式减少推理延迟时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值