首个中文AI绘画模型混元DiT，腾讯出品！

最新推荐文章于 2024-05-30 15:36:01 发布
最新推荐文章于 2024-05-30 15:36:01 发布
阅读量267 收藏 11
点赞数 3
文章标签： AIGC gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duoshehuan6005/article/details/139089390
版权

🎨 首个中文AI绘画模型混元DiT，腾讯出品！

🌐 首个中英双语DiT架构混元DiT，是一个革新性的基于Diffusion transformer的文本到图像生成模型。这款模型不仅具备了中英文的细粒度理解能力，还能够在多种文化背景下提供出色的创作服务。为了打造这一模型，我们精心设计了Transformer结构、文本编码器和位置编码，并构建了一个高效的数据管道，确保数据的持续更新与评估，从而为模型的优化迭代提供了坚实的基础。通过训练多模态大语言模型，混元DiT在细粒度文本理解方面迈出了重要一步。它能够与用户进行多轮对话，根据对话上下文生成并不断完善图像，真正达到了与用户的互动合作。

📖 长文本理解能力

混元DiT擅长分析长篇文本，能够理解其中的深层信息并根据此生成相应的艺术作品。

🔍 细粒度语义理解

混元DiT能够准确捕捉文本中的细微差别，生成完美贴合用户需求的图像。

🔄 多轮对话文生图

混元DiT可以在与用户的多轮对话中细化和完善创意构想，实现持续的创意协作。

🛠️ 混元DiT的主要功能

  • 双语文本到图像生成：混元DiT能够根据中文或英文的文本提示生成图像，极大地拓展了其在跨语言图像生成任务中的应用前景。

  • 细粒度中文元素理解：模型特别针对中文进行优化，更好地理解和生成与中国传统文化相关的元素，例如中国古诗、中国传统服饰、中国节日等。

  • 长文本处理能力：支持长达256个标记的文本输入，使得混元DiT能够理解复杂长文本描述，并生成相匹配的图像作品。

  • 多尺寸图像生成：混元DiT能够在多种尺寸比例下生成高质量的图像，以满足不同用途的需求，从社交媒体帖子到大尺寸打印品都能轻松应对。

  • 多轮对话和上下文理解：通过与用户的多轮对话，混元DiT能够根据对话历史和上下文信息生成和迭代图像，增强了模型的交互性和创造性。

  • 图像与文本的高一致性：混元DiT生成的图像与输入的文本提示内容高度一致，确保图像能够准确反映文本的意图和细节。

  • 艺术性和创意性：混元DiT不仅能够生成常见的图像，还能够根据文本中的创意描述，生成具有艺术性和创意性的图像作品。

学术Fun将上述工具制作成一键启动包，点击即可使用，避免大家配置Python环境出现各种问题，下载地址（电脑浏览器访问）： 🎨 首个中文AI绘画模型混元DiT，腾讯出品！_学术FUN，在此页面右侧区域点击下载！

注意电脑配置如下：

  • windows 10/11 64位操作系统

  • 12G显存以上英伟达显卡

下载使用教程

  • 浏览器访问http://127.0.0.1:7860/，即可在浏览器使用

各位新老朋友，麻烦点个赞👍和在看👀吧！

学术Fun
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Sora揭底系列模型介绍 (VAE/DDPM/SD/DiT/Sora)
03-13
Sora揭底系列模型介绍 (VAE/DDPM/SD/DiT/Sora)
DIT-AGCITMED:这个激动
06-28
DIT-AGCITMED DIT AGCITMED 让我们摇滚吧，伙计们。
大模型~合集-xx36
whaosoft143ai的博客
05-15 409
从 2023 年 7 月起，腾讯混元文生图团队就明确了基于 DiT 架构的模型方向，并启动了新一代模型研发。Hunyuan-DiT 的模型结构如下图 7 所示，采用了创新的网络架构，结合了双语 CLIP 和多语言 T5 编码器，通过精心设计的数据管道进行训练和优化，支持多轮对话，能够根据上下文生成并完善图像。此外，基于开放、前沿的混元文生图基础模型，也有利于在以 Stable Diffusion 等为主的英文开源社区之外，丰富以中文为主的文生图开源生态，形成更多样原生插件，推动中文文生图技术研发和应用。
混元DiT文生图大模型本地离线体验
嘟嘟的博客
05-21 411
前段时间腾讯的混元大模型开源了，据说是具备双语生成能力，对中国元素的理解能力非常强，于是带着好奇心花了点时间部署在本地跑了下看看。
又一个大模型开源了！这次是腾讯，文生图免费商用
python12345678_的博客
05-18 1520
5 月 14 日，腾讯宣布旗下混元文生图大模型全面升级并全面开源，目前已在 Hugging Face 平台及 GitHub 上发布，包含模型权重、推理代码、模型算法等完整模型，可供企业与个人开发者免费商用。据了解，这是，支持中英文双语输入及理解，参数量 15 亿。升级后的混元文生图大模型采用了与 Sora 一致的 DiT 架构，即，不仅可以支持文生图，也可以作为视频等多模态视觉生成的基础。
腾讯宣布混元文生图大模型开源： Sora 同架构，可免费商用
GZZN2019的博客
05-14 620
这是业内首个中文原生的DiT架构文生图开源模型，支持中英文双语输入及理解，参数量15亿。同时，基于开放、前沿的混元文生图基础模型，也有利于在以 Stable Diffusion 等为主的英文开源社区之外，丰富以中文为主的文生图开源生态，形成更多样的原生插件，推动中文文生图技术研发和应用。
腾讯开源混元DiT文生图模型，消费级单卡可推理
2301_78285120的博客
05-15 1416
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。混元DiT是一个基于Diffusion transformer的文本到图像生成模型，此模型具有中英文细粒度理解能力。为了构建混元DiT，我们精心设计了Transformer结构、文本编码器和位置编码。我们构建了完整的数据管道，用于更新和评估数据，为模型优化迭代提供帮助。
腾讯开源混元大模型-Hunyuan-DiT
hjx_dou的专栏
05-14 267
感觉要是想玩这些工具的话，国内的可玩性还是很高的，毕竟中国人最懂中国人，自己国家的语料喂得最对胃口。现在有些工具用起来都费劲，技术更新换代太快了，每个大厂都在自研模型。老实说，最近的大模型层出不穷，我是越来越看不懂了。有感兴趣的朋友可以了解下。
腾讯混元Dit-业内首个支持中文的AI绘画大模型，他来了！附本地一键包下载
AI人工智能影像技术博客
05-22 385
5月14日，腾讯旗下混元文生图大模型（下称：混元DiT，Scalable Diffusion Models with Transformers）宣布全面升级并对外开源，目前已在 Hugging Face 平台及 Github 上发布，包含模型权重、推理代码、模型算法等完整模型，可供企业与个人开发者免费商用。腾讯混元文生图负责人卢清林表示，混元DiT开源的价值有两方面，一方面这是业内首个中文原生DiT架构，弥补了开源社区的空白；另一方面混元DiT为全面开放，与现网版本完全一致。
杀疯了！首个懂中文的AI绘画大模型——混元DiT它来了（整合包）
05-22 460
混元-DiT不仅为中文用户带来了前所未有的便利，也为全球的创作者开辟了新的可能性。无论是中文的成语还是中国传统文化，如古诗文，这款模型都能精准捕捉其精髓，并在生成的图像中完美呈现。：混元-DiT能够捕捉到文本中的细节，并精确地反映在生成的图像中。可以说，用户的每一个小要求都能被注意到并得到满足，无论是特定的情绪色彩还是复杂的场景布局。特别值得一提的是，混元-DiT生成图片的效果也特别好，在文生图（文本到图像）的领域表现出了非常显著的优势，甚至在多个方面超越了著名的SDXL模型。关注公众号Glen，回复【
腾讯混元DiT（Hunyuan-DiT） 在线体验及部署经验
最新发布
旭的博客
05-30 1041
本文主要介绍使用virtualenv库生成venv，进而部署/运行Hunyuan-DiT大模型的方法，同时分享一些经验。
DIT-FFT.zip_DIT_DIT FFT
09-20
DIT-FFT算法 数字信号处理课自己基于C编的
matching-app:Dit是mijn匹配应用程序的主要技术！
03-09
目录 关于 LetsPlay是与配对waarmee gebruikers合作伙伴/约会kunnen zoeken遇见dezelfde sportinteresse的对象。 Door Middel van een过滤器的合作伙伴zoeken die een bepaalde sport beoefenen。...
dit-fft.c.zip_dit-fft_fft.c_makingbis
09-19
快速傅里叶变换（FFT）。允许输入任意长度（满足等于2的N次幂即可）。
dit算法matlab仿真 结合二叉树
08-18
根据DIT算法的思想，可以将一个长度为2^n的序列不断地进行奇偶拆分，从而得到n个两点的序列。再对这n个两点序列计算DFT，根据上述公式对两点序列的DFT进行组合，即可得到n/2个四点序列的DFT，重复上述操作，最后即可...
fft.rar_RADiX 2 fft_radix-2 dit
09-21
本程序对输入序列din实现DIT——FFT基2算法，点数取大于等于din长度的2的幂次
第二次作业.zip_bottleoem_dit算法
07-15
实现8点抽取DIF算法，快速进行傅里叶变换，提高变换效率
编写一个matlab函数(ditfft.m)实现n点dit–fft；
05-12
以下是一个简单的实现n点dit-fft的matlab函数(ditfft.m)： ```matlab function X = ditfft(x) % DITFFT Discrete Fourier Transform using Decimation-In-Time FFT algorithm N = length(x); if N == 1 X = x; return; end % Divide the sequence into even and odd parts xeven = x(1:2:N); xodd = x(2:2:N); % Compute the FFT of the even and odd parts Xeven = ditfft(xeven); Xodd = ditfft(xodd); % Combine the FFTs of the even and odd parts X = zeros(1,N); for k = 1:N/2 twiddle = exp(-2*pi*1i*(k-1)/N); X(k) = Xeven(k) + twiddle*Xodd(k); X(k+N/2) = Xeven(k) - twiddle*Xodd(k); end end ``` 使用方法： 假设我们要计算一个8点FFT。首先我们需要定义一个长度为8的序列x，并将其作为输入传递给`ditfft`函数。然后，函数将返回一个长度为8的复数向量，其中包含x的DFT。示例代码如下： ```matlab % Define input sequence x x = [1 2 3 4 4 3 2 1]; % Compute 8-point DFT using DIT-FFT algorithm X = ditfft(x); % Display the DFT disp(X); ``` 输出结果： ``` 12.0000 + 0.0000i 0.0000 - 4.0000i -4.0000 - 4.0000i 0.0000 - 4.0000i 0.0000 + 0.0000i 0.0000 + 4.0000i -4.0000 + 4.0000i 0.0000 + 4.0000i ``` 这是x序列的DFT结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值