（12-4-03）基于CPM中英双语多模态大模型的文生图系统：实现模型(3)基于Stable Diffusion的图像生成模型+多模态模型

码农三叔

已于 2024-12-11 16:26:05 修改

阅读量409

点赞数 12

CC 4.0 BY-SA版权

分类专栏：人工智能全栈(训练、大模型、RAG、多模态) 文章标签： stable diffusion 深度学习大模型机器学习多模态 Diffusion

于 2024-12-11 16:15:23 首次发布

本文链接：https://blog.csdn.net/asd343442/article/details/144403662

人工智能全栈(训练、大模型、RAG、多模态) 专栏收录该内容

345 篇文章 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

12.5.5 基于Stable Diffusion的图像生成模型

文件stablediffusion.py用于实现一个基于Stable Diffusion的图像生成模型，此文件通过定义一个包含自动编码器、噪声调度器、UNet条件模型以及自定义转换块的SDWrapper类，支持图像的编码、添加噪声、降噪和解码过程。同时，该类还集成了图像安全检查器，用于检测生成图像中的不适宜内容。此外，SDWrapper类支持通过提供文本嵌入来指导图像生成，并能够在推理时根据给定的指导比例进行噪声预测和图像生成。

class CPMBeeTransBlock(torch.nn.Module):
    def __init__(
        self,
        dim_model=4096,
        dim_ff=1024,
        dim_out=768,
        dtype=torch.float,
        eps=1e-6,
        dropout_p=0,
    ):
        super().__init__()
        if dropout_p is not None:
            self.dr

了解本专栏