imagegenerate_paddle文生图&图生图&文生图定制化训练模型

ImageGenerate

论文

High-Resolution Image Synthesis with Latent Diffusion Models
论文地址
Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search
论文地址
An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
论文地址

模型结构

文生图、图生图使用风格化生成模型[MoososCap/NOVEL-MODEL]，核心网络为Unet，前处理网络包含text_encoder，tokenizer等。

stabele-Diffusion网络结构	超分模型网络结构

算法原理

stable diffusion 对文本进行处理并进行编码生成文本向量，对初始化噪声图片添加噪声并迭代T次通过VAE_decoder网络生成最终图片

环境配置

Docker（方法一）

此处提供光源拉取docker镜像的地址与使用步骤

docker pull image.sourcefind.cn:5000/dcu/admin/base/paddlepaddle:2.4.2-centos7.6-dtk-23.04-py39-latest 
docker run --shm-size 16g --network=host --name=image_generate_paddle --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/imagegenerate_paddle:/home/imagegenerate_paddle -it <Your Image ID> bash
cd imagegenerate_paddle
pip install -r requirements.txt

Dockerfile（方法二）

此处提供dockerfile的使用方法

cd ./docker
cp ../requirements.txt ./requirements.txt
docker build --no-cache -t imagegenerate_paddle:latest .
docker run --shm-size 16g --network=host --name=image_generate_paddle --privileged --device=/dev/kfd --device=/dev/dri --group-add video --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -v $PWD/imagegenerate_paddle:/home/imagegenerate_paddle -it imagegenerate_paddle:latest bash

Anaconda（方法三）

此处提供本地配置、编译的详细步骤，例如：

关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装。

DTK驱动：dtk23.04
python：python3.9
paddle:2.4.2

Tips：以上dtk驱动、python、paddle等DCU相关工具版本需要严格一一对应

其它非深度学习库参照requirements.txt安装：

pip install -r requirements.txt

数据集

未公开训练数据集

• 基于小数据集的定制化训练数据集
• 地址：./resources/Alices/*

./resources/Alices
                | 
                1666360027.7809527_SEED_3534839969.png
                1666360416.8263636_SEED_4285104386.png
                .....

推理

• 方法一：运行inference.py文件
  • python inference.py
  • 切换文生图、图生图、文生图定制化训练参考 inference文件内注释
• 方法二：使用notebook运行main.ipynb
  • 根据notebook提示运行代码

测试

• 测试环境、功能是否够能够正常

python varify.py 

result

文生图	图生图	定制化训练
'prompt':'extremely detailed CG unity 8k wallpaper,black long hair,cute face,1 adult girl,happy, green skirt dress, flower pattern in dress,solo,green gown,art of light novel,in field' "negative_prompt":'lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry'		"prompt": ' at the lake', "negative_prompt": ''

精度

无

应用场景

算法类别

文生图,图生图,文生图定制化训练

热点应用行业

广媒,设计,教育,家居

源码仓库及问题反馈

• ModelZoo / ImageGenerate_paddle · GitLab

参考资料

• PaddleNLP/ppdiffusers at develop · PaddlePaddle/PaddleNLP · GitHub
• 文生图、图生图使用风格化生成模型[MoososCap/NOVEL-MODEL]，核心网络为Unet，前处理网络包含text_encoder，tokenizer等。