svd StableDiffusion库学习笔记

目录

原理讲解

No module named 'diffusers.models.transformers'

torchmetrics准确率计算

ConsistencyDecoder

DeepSpeed

realesrgan

BasicSR超分辨率，去噪，去模糊，去 JPEG 压缩噪声

segment_anything

mmengine

controlnet_aux

accelerate

transfersformer

pytorch_fid

einops

compel transfersformer 文本嵌入调整库

报错：No module named ‘torchvision.transforms.functional_tensor

torch 2.2安装过程

---

原理讲解

https://zhuanlan.zhihu.com/p/693750402

No module named 'diffusers.models.transformers'

解决方法：

pip install diffusers -U

0.25升级到了0.29好了

pip install basicsr linux测试ok

torchmetrics准确率计算

torchmetrics，一个无敌的 Python 库！-CSDN博客

ConsistencyDecoder

探秘开源项目：ConsistencyDecoder - 构建自然语言理解的新范式-CSDN博客

安装：

pip install git+https://github.com/openai/consistencydecoder.git

DeepSpeed

windows安装

deepspeed 安装 Windows_windows下使用deepspeed-CSDN博客

以前安装成功，2024.06报错：

报错代码：

from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint

  File "D:\ProgramData\miniconda3\envs\pysd\lib\site-packages\deepspeed\runtime\config_utils.py", line 116, in get_config_default
    field_name).required, f"'{field_name}' is a required field and does not have a default value"
AttributeError: 'FieldInfo' object has no attribute 'required'. Did you mean: 'is_required'?

realesrgan

BasicSR超分辨率，去噪，去模糊，去 JPEG 压缩噪声

是全称 Basic Super-Resolution 的缩写，它是一个基于 PyTorch 的开源图像视频复原工具箱 (Open-Source Image and Video Restoration Toolbox)。它适配多种视觉底层任务，比如超分辨率，去噪，去模糊，去 JPEG 压缩噪声等。旨在将各种 Super Restoration 模型整合在一起，形成一个复现视觉底层任务模型结果的统一框架。

segment_anything

mmengine

MMEngine 是一个基于 PyTorch 训练深度学习模型的基础库。它支持在 Linux、Windows 和 macOS 上运行。它提供了坚实的工程基础，使开发人员无需在工作流程上编写冗余代码。它作为所有 OpenMMLab 代码库的训练引擎，支持各个研究领域的数百种算法。此外，MMEngine 还可以通用地应用于非 OpenMMLab 项目。

controlnet_aux

【控制网-03/6】带扩散器的超快速控制网_controlnet-aux-CSDN博客

accelerate

transfersformer

pytorch_fid

einops

einops 优雅地操作张量维度(基础操作+pytorch操作+网络设计)-CSDN博客
实现图片分块化（使用einops库）-CSDN博客

compel transfersformer 文本嵌入调整库

探索文本控制艺术：Compel——一款强大的Transformer文本嵌入权重调整库-CSDN博客

报错：No module named ‘torchvision.transforms.functional_tensor

网上说torch和torchvision版本不匹配，发现可能是basicsr引用错误

  File "D:\ProgramData\miniconda3\envs\pysd\lib\site-packages\basicsr\data\realesrgan_dataset.py", line 11, in <module>
    from basicsr.data.degradations import circular_lowpass_kernel, random_mixed_kernels
  File "D:\ProgramData\miniconda3\envs\pysd\lib\site-packages\basicsr\data\degradations.py", line 8, in <module>
    from torchvision.transforms.functional_tensor import rgb_to_grayscale
ModuleNotFoundError: No module named 'torchvision.transforms.functional_tensor'

解决方法：

from torchvision.transforms.functional import rgb_to_grayscale

torch 2.2安装过程

执行命令
命令行 在这个路径
root@liuchen-018-0:/lpai/volumes/ad-op-ga/code/inference#
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu118

pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable

具体安装过程：
运行报错：
import transformer_engine_extensions as tex
ImportError: /usr/local/lib/python3.8/dist-packages/transformer_engine_extensions.cpython-38-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops5zeros4callEN3c108ArrayRefINS2_6SymIntEEENS2_8optionalINS2_10ScalarTypeEEENS6_INS2_6LayoutEEENS6_INS2_6DeviceEEENS6_IbEE
安装
pip install transformer_engine_extensions
运行报错：
ERROR: Could not find a version that satisfies the requirement transformer_engine_extensions (from versions: none)
ERROR: No matching distribution found for transformer_engine_extensions

pip install git+https://github.com/NVIDIA/TransformerEngine.git@stable

/usr/local/lib/python3.8/dist-packages/basicsr/data/degradations.py", line 8,
https://blog.csdn.net/lanxing147/article/details/136625264
加下划线
from torchvision.transforms.functional_tensor import rgb_to_grayscale
改成
from torchvision.transforms._functional_tensor import rgb_to_grayscale