腾讯混元文生图模型HunyuanDiT部署体验

轻云UC

已于 2024-05-16 15:03:25 修改

阅读量4.7k

点赞数 20

分类专栏： AI 大模型文章标签：人工智能 cuda 文生图混元模型

于 2024-05-15 20:19:46 首次发布

本文链接：https://blog.csdn.net/tanlintanlin/article/details/138922089

版权

AI 大模型专栏收录该内容

14 篇文章

订阅专栏

最近，腾讯混元文生图模型HunyuanDiT 架构升级，并免费开源了。他采用的神经网络架构和Sara一样都是Diffusion Transformer，参数量已经达到15亿。官方测评效果显示超过目前开源的Stable Diffusion。试用下来效果比较令人惊喜。

建议硬件要求（模型推理）：
INT4 ： RTX30901或 RTX40901，显存24GB，内存32GB，系统盘200GB
如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。
模型微调硬件要求更高。一般不建议个人用户环境使用

本文在Docker环境下部署，如需直接部署请参考官网相关说明。

环境准备

模型准备

第一步：模型下载

git clone https://huggingface.co/Tencent-Hunyuan/HunyuanDiT

下载地址： https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
模型名称： Tencent-Hunyuan/HunyuanDiT
本文统一放在模型存档目录：/u01/workspace/models/HunyuanDiT

第二步：由于在启动时需要通过huggingface加载openai/clip-vit-large-patch14-336视觉模型，正常情况下不通过科学上网这里基本无法自动下载到该模型。也需要请提前下载好该模型

git clone https://huggingface.co/openai/clip-vit-large-patch14-336
保存位置：/u01/workspace/models/clip-vit-large-patch14-336
修改第一步下载模型中的配置文件：/u01/workspace/models/HunyuanDiT/dialoggen/config.json中mm_vision_tower 的值改为刚下载clip-vit-large-patch14-336的绝对路径下。
“mm_vision_tower”: “/u01/workspace/models/clip-vit-large-patch14-336”,，如下图所示：

下载源码

git clone https://github.com/Tencent/HunyuanDiT; 
cd HunyuanDiT

Dockerfile样例

注意 COPY HunyuanDiT/ /app/HunyuanDiT/ 这行执行需要根据世纪HunyuanDiT源码下载存放位置。

FROM pytorch/pytorch:2.2.1-cuda12.1-cudnn8-runtime
ARG DEBIAN_FRONTEND=noninteractive


WORKDIR /app

RUN pip install --user nvidia-pyindex

RUN pip config set global.index-url http://mirrors.aliyun.com/pypi/simple
RUN pip config set install.trusted-host mirrors.aliyun.com

RUN mkdir -p /u01/workspace/models/

COPY HunyuanDiT/ /app/HunyuanDiT/
WORKDIR /app/HunyuanDiT

RUN python -m pip install --verbose --use-pep517 -r requirements.txt
RUN pip install bitsandbytes huggingface_hub==0.23.0


EXPOSE 8000 8051

CMD [ "python","app/hydit_app.py"]

本文采用基础镜像pytorch/pytorch:2.2.1-cuda12.1-cudnn8-runtime 自带的 pip 相关版本与源码中的部分版本冲突（torchvision，protobuf，nvidia-pyindex），所以，下载原名后需要修改requirements.txt文件：

#--extra-index-url https://pypi.ngc.nvidia.com
timm==0.9.5
diffusers==0.21.2
peft==0.10.0
#protobuf==3.19.0
#torchvision==0.14.1
transformers==4.37.2
accelerate==0.29.3
loguru==0.7.2
einops==0.7.0
sentencepiece==0.1.99
cuda-python==11.7.1
onnxruntime==1.12.1
onnx
#nvidia-pyindex==1.0.9
onnx-graphsurgeon==0.5.2
polygraphy==0.49.9
pandas==2.0.3
gradio==4.31.0

构建image

docker build -t qingcloudtech/hunyuandit:v1.0 .

运行docker

docker run -it --gpus all \
  -p 8501:8501 \
  -v /u01/workspace/models:/u01/workspace/models \
  qingcloudtech/hunyuandit:v1.0 \
  python app/hydit_app.py --model-root /u01/workspace/models/HunyuanDiT --no-enhance