CLEAR项目安装与配置指南

CLEAR项目安装与配置指南

CLEAR Official PyTorch implementation of paper "CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up". 项目地址: https://gitcode.com/gh_mirrors/clea/CLEAR

1. 项目基础介绍

CLEAR项目是一个基于PyTorch的开源项目，旨在通过一种名为CLEAR的策略来线性化预训练的扩散变换器，如FLUX和SD3。该项目通过引入一种类似卷积的局部注意力机制，减少了生成高分辨率图像时的计算复杂度。主要编程语言为Python。

2. 项目使用的关键技术和框架

• PyTorch：一个流行的开源机器学习库，用于应用如计算机视觉和自然语言处理等领域的深度学习。
• Diffusers：一个基于PyTorch的库，用于简化扩散模型的训练和推理。
• DeepSpeed：一个由微软开发的优化库，用于加速深度学习训练。
• FlexAttention：一种注意力机制的实现，用于提高效率。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保您的计算机上已安装Python（版本至少为3.12）。
• 安装conda，用于环境管理（如果使用的是pip管理环境，可以跳过这一步）。
• 准备一个合适的GPU，至少48GB的显存用于高分辨率图像的生成。

安装步骤

创建和激活虚拟环境

打开命令行界面，执行以下命令来创建一个新的虚拟环境：

conda create -n CLEAR python=3.12
conda activate CLEAR

如果您使用的是pip而非conda，请确保您的Python环境已经设置好。

安装依赖

在虚拟环境中，使用以下命令安装项目所需的依赖：

pip install -r requirements.txt

克隆项目仓库

将项目仓库克隆到您的项目目录中：

git clone https://github.com/Huage001/CLEAR.git

下载模型权重

根据您需要使用的模型变体，从提供的链接中下载相应的权重文件，并将其放置在ckpt目录下。

配置训练

在多个.sh文件中配置训练路径（例如/path/to/t2i_1024），并下载训练图像：

tar -xvf data_000000.tar -C /path/to/t2i_1024

执行以下脚本以缓存文本嵌入和VAE特征（可选但推荐）：

bash cache_prompt_embeds.sh
bash cache_latent_codes.sh

开始训练

最后，执行以下脚本来开始训练：

bash distill.sh

默认情况下，脚本使用4个具有80GB显存的GPU，train_batch_size=2和gradient_accumulation_steps=4。根据您的硬件配置，您可以在distill.sh和deepspeed_config.yaml文件中进行相应的调整。

按照以上步骤操作，您应该能够成功安装和配置CLEAR项目。

CLEAR Official PyTorch implementation of paper "CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up". 项目地址: https://gitcode.com/gh_mirrors/clea/CLEAR