AIGC支持中文的文生图模型:HunyuanDiT 低显卡蒸馏版使用

已于 2024-07-13 10:40:47 修改
阅读量596 收藏
点赞数
分类专栏： 深度学习 文章标签： AIGC 文生图
于 2024-07-13 10:20:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/140394476
版权

HunyuanDiT 低显卡蒸馏版使用

参考：

版本一定要 diffusers (0.30.0.dev0)

pip install diffusers@git+https://github.com/huggingface/diffusers

在这里插入图片描述

文件下载：
https://huggingface.co/Tencent-Hunyuan/HunyuanDiT-v1.2-Diffusers

代码使用：

import torch
from diffusers import HunyuanDiTPipeline

pipe = HunyuanDiTPipeline.from_pretrained(
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AIGC 最强中文的文生图模型：Kolors 可图大模型、文生图、图生图使用
weixin_42357472的博客
07-13 1149
版本一定要 diffusers (0.30.0.dev0)图生图（Image to Image）文生图（Text to Image）
一文读懂AIGC文生图系列原理及发展近况！
女王の专属领地
11-25 2343
2021年10月，谷歌发布的 Disco Diffusion 模型以其惊人的图像生成效果拉开了属于扩散模型的 AIGC 时代序幕。图像精美但细节不够深人；生成耗时过长（也是一直以来的痛点）。但其图像质量碾压以往众多绘画模型，达到普通人无法企及高度，这才让 AI绘画真正迈入生产工具行列。AIGC作为一种新兴的技术，正在快速改变内容生产和创作的格局。经过多年的发展，AIGC已经在文本、图像、音频和视频等多个领域取得了显著的成就。
Hunyuan-DiT ： 强大的多分辨率扩散转换器，具有细粒度的中文理解
11-19
Hunyuan-DiT：强大的多分辨率扩散转换器，具有细粒度的中文理解。DialogGen：用于多轮文本到图像生成的多模态交互式对话系统
Hunyuan-DiT环境搭建&推理测试
zzq1989_的专栏
05-27 757
感兴趣的可以移步。鹅厂开源的，我还是头一回部署。好的，那就让我们看看这个多模态视觉大模型有什么特点吧，首先它说它是汉英双语DiT模型，嗯，这个时候必须再次吐槽下智谱开源的CogVLM（），竟然只支持英文。其次呢，当然是各种测试集的niubility和各种sota，这里就不再赘述。OK，让我们开始吧。最近鹅厂竟然开源了一个多模态的大模型，之前分享福报厂的多模态视觉大模型（改为实际路径，防止下载模型。
腾讯开源混元大模型-Hunyuan-DiT
hjx_dou的专栏
05-14 611
感觉要是想玩这些工具的话，国内的可玩性还是很高的，毕竟中国人最懂中国人，自己国家的语料喂得最对胃口。现在有些工具用起来都费劲，技术更新换代太快了，每个大厂都在自研模型。老实说，最近的大模型层出不穷，我是越来越看不懂了。有感兴趣的朋友可以了解下。
仅需6G显存！腾讯混元-Di v1.2 SD WebUI 玩起来~中文提示词生图他不爽么！【文末获取】
小王的储物间
07-26 1488
1.柔光，美丽的透明冰雕女孩，发光纹身，冰雕，高品质，杰作，32K，封面艺术，惊人的构图，（美丽和审美：1.20），极其细致，黑底，荧光，渐变，光，流动，轮廓光，超现实艺术，溶解和消失为粒子，半透明荧光，发光粒子，光学耀斑，4.日本动漫风格，在旋转的星空下，左边的女孩穿着白色连衣裙，举起左手，而右边的男孩穿着衬衫，举起右手。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
hunyuandit_pytorch AIGC 以文生图模型
qq_27815483的博客
07-16 1085
支持中文输入的文生图模型。
中国AIGC产业联盟_无界AI：中国AIGC文生图产业自皮书.pdf
07-02
- **定义与概念**：AIGC（Artificial Intelligence Generated Content），即人工智能生成内容，是一种利用人工智能技术自动生成文本、图片、视频等内容的技术。文生图作为AIGC的一个分支，特指将文字描述转化为图像...
Meissonic 文生图模型：小参数，超轻量，本地部署推理教程
老牛啊
11-16 949
阿里巴巴等联合推出的 Meissonic 文生图模型，仅 1B 参数，能在普通电脑及未来无线端运行推理。本文将详细展示其在笔记本上的本地部署教程，带你领略 Meissonic 的独特魅力与强大功能……
腾讯混元文生图模型HunyuanDiT部署体验
Qinghub‘博客
05-15 4841
最近，腾讯混元文生图模型HunyuanDiT 架构升级，并免费开源了。他采用的神经网络架构和Sara一样都是Diffusion Transformer，参数量已经达到15亿。官方测评效果显示超过目前开源的Stable Diffusion。试用下来效果比较令人惊喜。
【大模型系列篇】动手部署实践国产文生图模型-腾讯混元DiT
木亦汐丫
09-30 1759
首个中英双语DiT架构， 混元-DiT，高性能细粒度中文理解-多分辨率扩散Transformer模型。腾讯提出的，一个，此模型具有中英文细粒度理解能力。为了构建混元DiT，精心设计了Transformer结构、文本编码器和位置编码。腾讯构建了完整的数据管道，用于更新和评估数据，为模型优化迭代提供帮助。为了实现细粒度的文本理解，腾讯训练了多模态大语言模型来优化图像的文本描述。最终，混元DiT能够与用户进行多轮对话，根据上下文生成并完善图像。
【SD3辅助工具推荐】InstantX发布了三种SD3专属的ControlNet模式——Pose、Canny和Tile
weixin_41446370的博客
06-20 1568
InstantX 是一家专注于人工智能内容生成的独立研究机构。此前，曾开源著名的InstantID和论文《随着本月12号，Stability AI正式开源了其产品 Stable Diffusion 3，这家机构又为SD的死忠粉带来了三款SD3专属的ControlNet工具——SD3-Controlnet-Pose、SD3-Controlnet-Canny 和 SD3-Controlnet-Tile。
hunyuan-DiT模型部署指南
SJJS_1的博客
11-04 2496
Hunyuan-DiT是由腾讯混元推出的扩散模型，支持中文和英文双语输入，其他开源模型相比，Hunyuan-DiT 在中文到图像生成方面树立了新的水平。
Hunyuan-DiT的常见错误及解决方法
最新发布
gitblog_02327的博客
12-30 741
Hunyuan-DiT的常见错误及解决方法 HunyuanDiT 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/HunyuanDiT ...
国产版Sora复现——智谱AI开源CogVideoX-2b 本地部署复现实践教程
热门推荐
白洞，白色的明天在等着我们
08-06 1万+
本篇博客将详细介绍，使用丹摩服务器部署和初步使用CogVideoX的实践流程。智谱AI在8月6日宣布了一个令人兴奋的消息：他们将开源视频生成模型CogVideoX。目前，其提示词上限为226 个 token，视频长度为 6 秒，帧率为 8 帧 / 秒，视频分辨率为 720*480，而这仅仅是初代，性能更强参数量更大的模型正在路上。先看两个效果（均为个人本次实践复现得出）：CogVideoX生成视频1CogVideo生成视频2首先简单介绍下原理，CogVideoX的核心在于它的3D变分自编码器。
腾讯混元DiT（Hunyuan-DiT） 在线体验及部署经验
旭的博客
05-30 3199
本文主要介绍使用virtualenv库生成venv，进而部署/运行Hunyuan-DiT大模型的方法，同时分享一些经验。
腾讯混元文生图开源模型推出小显存版本，6G显存即可运行，并开源caption模型
karamos的专栏
07-04 848
7月4日，腾讯混元文生图大模型（混元DiT）宣布开源小显存版本，仅需6G显存即可运行，对使用个人电脑本地部署的开发者十分友好，该版本与LoRA、ControlNet等插件，都已适配至Diffusers库；用户可以通过图形化界面，完成模型的全参精调及LoRA训练，无需涉及到代码层面的细节。目前，业界对于图片描述文本的生成，主要使用通用多模态Captioner模型，存在描述过于简单或繁琐（与画面描述的无关信息过多）、缺少背景知识导致无法识别知名人物和地标等问题，并且许多模型并非中文原生，中文描述不够精准。
python中通过from_pretrained下载好模型之后，可以通过save相关函数保存模型到案例文件夹下
weixin_44162814的博客
04-23 518
上面是正常下载然后加载的，通过fsearch可以搜到下载的位置在~/.cache目录下。然后下次可以直接使用下面这个方法加载代码同目录下的模型，还方便移植代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值