flux bitsandbytes bnb量化；diffusers 15G显卡加载使用

loong_XL

已于 2024-09-03 09:19:36 修改

阅读量352

点赞数 3

分类专栏：深度学习文章标签： aigc 文生图

于 2024-09-01 17:32:59 首次发布

本文链接：https://blog.csdn.net/weixin_42357472/article/details/141782926

版权

深度学习专栏收录该内容

277 篇文章 148 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

使用bitsandbytes进行bnb量化

在线参考：
https://colab.research.google.com/gist/sayakpaul/4af4d6642bd86921cdc31e5568b545e1/scratchpad.ipynb

安装包
!pip install -U accelerate transformers bitsandbytes
!pip install git+https://github.com/huggingface/diffusers@quantization-config

!huggingface-cli login 登录

import torch
from diffusers import BitsAndBytesConfig, FluxTransformer2DModel, FluxPipeline
from accelerate.utils import

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

loong_XL

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

flux 文生图bnb量化模型diffusers使用案例

weixin_42357472的博客

08-31

999

参考： https://huggingface.co/black-forest-labs/FLUX.1-devhttps://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/1079 https://github.com/huggingface/diffusers/issues/9149 https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main下载单个模型： bit

AIGC：Flux.1 NF4 使用 diffusers 推理

微风❤水墨

08-26

668

Flux 参数量很大 (包括 ext encoder2, autoencoder, 以及 diffusion model) ，使用Diffusers推理，显存占用 30GB。有大佬做了 NF4 版本，效果依旧能打。所以本文使用 diffusers 推理 NF4版本的 Flux.1。1：flux.1-dev-nf4 国内镜像加速下载。

参与评论您还未登录，请先登录后发表或查看评论

ComfyUI - 使用 ComfyUI 部署与测试 FLUX.1 图像生成模型教程

Mystra

08-15

2834

Flux 是由 Black Forest Labs 推出的最新文本到图像生成模型，已成为 AI 绘画领域的高品质模型。该模型由 Stability AI 的前核心成员开发，具备强大的生成能力和高质量的图像输出。

如何在M3 Max MacBook Pro上运行Flux Schnell

摩登都市天空---专栏

08-14

1381

【代码】如何在M3 Max MacBook Pro上运行Flux Schnell。

ComfyUI使用Flux模型

最新发布

培根芝士的专栏

08-31

1477

ComfyUI是一个强大的用户界面，支持多种图像处理和生成模型，而Flux是一系列由Black Forest Labs开发的扩散模型。

Flux的使用流程

miaomiao博客

07-17

4151

一、Flux 组成部分 View：视图层（用React的组件来代替） ActionCreators（动作创造者）：视图层发出的消息（比如mouseClick） Dispatcher（派发器）：用来接收Actions、执行回调函数 Store（数据层）：用来存放应用的状态，一旦发生变动，就提醒Views要更新页面二、Flux的流程：组件获取到store中保存的数据挂载在自己的状态上...

ComfyUI - 自定义数据集使用 LoRA 微调图像生成 Flux 模型 (AI Toolkit)

Mystra

08-28

1698

在 Diffusion 图像生成框架中，使用 LoRA（Low-Rank Adaptation）微调，难点在于，需要精确控制模型参数的更新以避免破坏预训练模型的知识，同时保持生成图像的多样性和质量，这涉及到复杂的优化策略和计算资源的高效利用，以及在保持模型泛化能力的同时实现特定任务的微调，这通常需要大量的实验和调参来找到最佳的低秩矩阵和学习率，以确保模型在特定数据集上的性能提升。

“探索Flux NF4：Stable Diffusion模型的综合指南“

2401_84760527的博客

08-22

1390

您是否想直接在Stable Diffusion中使用Flux NF4，而不是ComfyUI界面？这是对这些调整的指南。Stable Diffusion已经成为了一个热门工具，用于创建具有非凡精度的AI生成图像。在本指南中，我们将探讨Stable Diffusion，包括如何安装和使用它，以及Flux NF4（一个扩展其功能的强大扩展）的特性。我们还将介绍如何在Stable Diffusion中安装Flux NF4，并充分利用它来完成您的图像扩散任务。

ComfyUI - 在 ComfyUI 中配置 Flux + LoRA 的组合流程优化图像属性

Mystra

08-28

1196

在 Diffusion 图像生成框架中，LoRA (Low-Rank Adaptation) 是用于模型微调的技术，通过在模型的权重矩阵中引入低秩结构来实现。这种方法，可以在不显著增加模型参数数量的情况下，有效地调整和优化模型的行为。具体来说，LoRA 通过在权重矩阵中添加一个小型的低秩矩阵，来调整原有的权重，从而实现对模型的微调。这样做的好处是可以保持模型整体参数量的可控性，同时允许模型在特定任务上进行更精细的调整，提高生成图像的质量和多样性。在 Diffusion 模型中，LoRA 可以应用于条件生成任

多租户：Flux v1：使用Flux和Kustomize管理多租户集群

02-04

在多租户环境中，Flux v1 和 Kustomize 结合使用，可以创建一个高效且灵活的系统。每个租户拥有自己的 Git 仓库，包含由 Kustomize 处理的定制化 Kubernetes 资源。Flux 监听这些仓库的变更，一旦有更新，就会应用 ...

maskrcnn-benchmark训练自己数据集用于视觉分割

热门推荐

weixin_42357472的博客

06-23

1万+

1、标记数据用labelme，建议用ubuntu版本去做，因为window可能因为这个需要环境改变影响其他，自己犯过这个问题 https://github.com/wkentaro/labelme 2、labelme转化成coco数据集用于分割任务 labelme2coco.py进行转化 # -*- coding:utf-8 -*- import argparse import json im...

BERT 获取最后一层或每一层网络的向量输出

weixin_42357472的博客

10-21

1万+

参考：https://zhuanlan.zhihu.com/p/422533717 https://blog.csdn.net/sunyueqinghit/article/details/105157609 transformer输出的结果 last_hidden_state：shape是(batch_size, sequence_length, hidden_size)，hidden_size=768,它是模型最后一层输出的隐藏状态 pooler_output：shape是(batch_size, hid

神经网络 Embedding层理解； Embedding层中使用预训练词向量

weixin_42357472的博客

10-21

9395

Embedding：高维稀疏特征向量到低维稠密特征向量的转换；嵌入层将正整数（下标）转换为具有固定大小的向量 Embedding 字面理解是 “嵌入”，实质是一种映射，从语义空间到向量空间的映射，同时尽可能在向量空间保持原样本在语义空间的关系，如语义接近的两个词汇在向量空间中的位置也比较接近。应用：在深度学习推荐系统中，Embedding主要的三个应用方向： 1、在深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转换； 2、作为预训练的Embedding特征向量，与其

bert4keras、transformers 加载预训练bert模型、句向量cls，字向量提取；tokenizer使用

weixin_42357472的博客

12-08

9042

bert4keras 分词器 Tokenizer from bert4keras.models import build_transformer_model from bert4keras.tokenizers import Tokenizer import numpy as np config_path = '/Users/lonng/Desktop/v+/xl/chinese_L-12_H-768_A-12/bert_config.json' checkpoint_path = '/Users/lo

yolov8 人体姿态关键点检测使用案例

weixin_42357472的博客

06-16

7631

参考： https://github.com/ultralytics/ultralytics https://github.com/TommyZihao/Train_Custom_Dataset/tree/main/%E5%85%B3%E9%94%AE%E7%82%B9%E6%A3%80%E6%B5%8B 1、命令行运行 pip安装好后就可以yolo 命令运行执行 *** 运行效果，source=0是直接调用本地摄像头结果： 640x512 1 person, 114.0ms Speed: 8.0

yolo v5 onnxruntime与opencv cv2加载部署推理、实时摄像头检测

weixin_42357472的博客

04-13

7552

参考：https://github.com/hpc203/yolov5-lite-onnxruntime https://github.com/hpc203/yolov5-dnn-cpp-python 1、onnxruntime 加载推理yolo v5 onnx import cv2 import numpy as np import argparse import onnxruntime as ort import math class yolov5_lite(): def __init__(s

LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型简单案例

weixin_42357472的博客

05-09

6400

lore模型训练参考：https://github.com/huggingface/peft。

bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别

weixin_42357472的博客

12-07

6040

矩阵点乘：对应位置直接相乘矩阵叉乘：行向量的每一个元素乘以列向量中所有元素

Flux 的 flatMap使用举例

03-14

Flux是Reactor框架中的一个核心类，它代表了一个可以包含0到N个元素的异步序列。flatMap是Flux类中的一个操作符，它可以将每个元素转换为一个新的Flux，并将这些新的Flux合并成一个新的Flux。下面是flatMap的使用举例：假设我们有一个包含多个字符串的Flux，我们想要将每个字符串拆分成单词，并将这些单词作为新的Flux返回。可以使用flatMap操作符来实现这个需求，具体代码如下： ```java Flux<String> stringFlux = Flux.just("Hello World", "CSDN AI", "ChatGPT"); Flux<String> wordFlux = stringFlux .flatMap(str -> Flux.fromArray(str.split(" "))); wordFlux.subscribe(System.out::println); ``` 在上面的例子中，我们首先创建了一个包含多个字符串的Flux对象stringFlux。然后，我们使用flatMap操作符将每个字符串拆分成单词，并将这些单词作为新的Flux对象返回。最后，我们通过subscribe方法订阅这个新的Flux，并打印出每个单词。输出结果为： ``` Hello World CSDN AI ChatGPT ```