终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!(附模型)

FLUX 是一个开源的全新的图像生成器,可以生成逼真的超现实图像,人们称它为 Midjourney 的终结者,下一代 Stable Diffusion 的替代品。

FLUX究竟强大到什么程度?外网到现在为止,都还有抵制它的声音。

Google DeepMind 团队甚至在本月还发布了一篇研究人们如何滥用生成式 AI 的论文。令人震惊的是,所谓极具亲密性的图像、小黄片,这都不是首要的问题,真正危险的地方在于假冒他人身份。

而这,正是 FLUX 非常擅长的地方。

那么这篇文章将会带你手把手从零开始运行这个“危险”的 AI 工具,如何用自定义的数据集微调模型,训练想要的 Lora,并将结果转换成视频,生成你想要的内容。

需要体验的小伙伴直接扫码可以获取

打开这里的 API 地址,就能看到 FLUX 的服务了。打开 API,我们可以选择加载哪个工作流,如果想跑黑神话悟空的,那就选择 Wukong,然后点击添加提示词队列就能运行了。

绿的框框代表运行到的位置,第一次运行会慢一些,因为需要加载模型,直到运行到最后一个节点,就能看到预览图像了。第二次运行会快很多,因为涉及到的模型已经加载到了显存中。

在这里插入图片描述

TED 真人演讲工作流运行方法也一样。另外如果想要在图片中生成文本内容,可以参考 3mm4w 这个工作流。

想要训练 Lora,在项目页面打开工作空间。

在工作目录里找到train.sh这个文件。

开启命令行窗口,使用sh train.sh运行文件。

稍等片刻后,可以看到加载出的public URL,进入即可看到 FLUX Lora 的 WebUI 页面。

我们还是以川普为例,先输入名字:

上传十张他的图片,耐心等待一会。这里的图片尽量是人物的正脸照片,人脸比例最好大些,且分辨率要尽可能的高。等到页面变成这样,说明上传成功了。

这里我们需要写每个图片对应的文本表述,比如穿着西装系着蓝色领带的帅气大男孩。注意,得用英文。如果嫌麻烦,这里也有 AI 能够一键生成描述。只需要点击一下,稍等片刻,每张图片对应的文本描述就做好了。

对于 AI 描述不准确的地方,可以手动修改。

在这里插入图片描述

最后,点击开始训练的按钮。再等待几分钟,就能看到这个训练的进度条,一共训练 1000 轮次,可以通过进度条查看现在训练到了第几轮。如果你使用的是 RTX4090,大概 40 分钟能够训练完一个 Lora 模型。

当出现如图的字样时,说明训练完成了。

此时在 ai-toolkit 目录下的 output 文件夹里能看到训练好的模型,在 samples 里还有生成的图片,这个效果不错的话,就表明模型训练完成了。

训练好模型之后,我们关掉这个训练服务,释放 GPU 资源,要不然会一直占用显存,然后重启 ComfyUI,具体步骤:

1、运行「Ctrl+C」停掉训练服务

2、运行「sh copy.sh」命令

3、运行「sh dependencies.sh」命令

4、等待 1 分钟之后,重新打开 API 地址即可

最后,在 LoRA 加载器里选择新训练好的模型,即可使用了:

本文对应的视频教学:

https://www.bilibili.com/video/BV1xSpKeVEeM

FLUX LoRA 训练工具:

https://github.com/ostris/ai-toolkit

OpenBayes 平台专属注册链接:

https://openbayes.com/console/signup?r=JackCuiAI_R3mZ

本地搭建流程

最后,讲解下本地搭建流程:

环境要求:

  • Python,版本大于3.10

  • Nvidia GPU,显存大于 12GB

  • Python 虚拟环境(venv)

  • Git

安装步骤

如果你是Windows系统,可以参考以下流程:

git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库   cd ai-toolkit #进入项目目录   git submodule update --init --recursive #更新并初始化子模块   python -m venv venv #创建 Python 虚拟环境   .\venv\Scripts\activate #激活虚拟环境   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 #安装 PyTorch(根据CUDA版本选择)   pip install -r requirements.txt #安装其他依赖   

如果你是Linux系统,可以参考以下流程:

git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库   cd ai-toolkit #进入项目目录   git submodule update --init --recursive #更新并初始化子模块   python3 -m venv venv #创建 Python 虚拟环境   source venv/bin/activate #激活虚拟环境   pip3 install torch #安装 PyTorch   pip3 install -r requirements.txt #安装其他依赖   

根据以上步骤,你已经可以在本地搭建好一个运行 FLUX 的环境了!当然,想要使用的话,在安装完 ai-toolkit 后,你还需要一些操作,以下是本地通过 Gradio UI 进行训练的步骤:

  • 进入项目目录 cd ai-toolkit

  • 登录 Hugging Face,使用 write 权限的 Token huggingface-cli login

  • 启动自定义 UI 进行训练 python flux_train_ui.py

该 UI 会让你上传图片,给图片添加标题,并训练和发布你的 LoRA 图像模型。

更多的本机配置方法及细节,可以参考官方 Github 的文档。

https://github.com/ostris/ai-toolkit

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值