AI-多模态-文本-＞图像-2021：Stable Diffusion【开源】【目前开源模型中最强】【并不直接恢复图像，图像的像素太多，空间太大，直接恢复难度太大】【VAE、ResNet、UNet】

已于 2024-03-09 00:20:39 修改
阅读量1.9k 收藏 8
点赞数 1
分类专栏： VLM/多模态 # VLM/文➜图 文章标签： 人工智能
于 2022-12-22 16:18:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/128292007
版权

最近大火的Stable Diffusion也开源了(20220823);

我也本地化测试了一下效果确实比Dall-E mini强太多了，对于我们这些玩不上Dall-E2的这个简直就是就是捡钱的感觉，当然后期跑起来，稍微不注意显存就炸了。

这里我写一下安装过程，具体分为两个安装流程；

流程1 -- Hubggingface的方式安装

使用Huggingface的模式进行直接安装。

CompVis/stable-diffusion-v1-1 · Hugging Face​huggingface.co/CompVis/stable-diffusion-v1-1正在上传…重新上传取消

注册

第一个工作需要注册账户，可以关联github；

注册后在个人目录下有一个token号；链接

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
stable-diffusion代码和应用
liguandong
03-17 1663
这个版本主要是webui框架实现，webui由gradio实现，如果本地没有gpu就别搞了，这里面的stable-diffusion实现了prompt和negative prompt。这里面介绍几种stable-diffusion的代码版本之类的。4.hugging-face的diffuser统一版本。是实现了v15版本的sd。实现了v2版本的sd。
音乐-图像多模态开源项目lucid-sonic-dreams源码
08-05
GitHub 地址：https://github.com/mikaelalafriz/lucid-s Colab 教程地址：https://colab.rehttps://colab.research.google.com/drive/1Y5i50xSFIuN3V4Md8TB30_GOAt GAN 生成图像奇幻诡谲，对此我们早已不陌生。如果它们还可以卡音效呢？github上有人就创建了一个实现类似效果的 Python 包——Lucid Sonic Dreams，只用几行代码就可以实现 AI 生成画作与音乐的同步。 （免费资源，仅做转载）
Stable Diffusion 本地部署教程
muxlong的博客
04-07 658
Stable Diffusion是一种生成高质量图像的深度学习模型。下载预训练的Stable Diffusion模型。您可以从官方发布页面或其他可靠来源获取模型文件（例如，完成以上步骤后，您应该能够在本地部署Stable Diffusion并生成图像。请注意，这只是一个简单的示例，您可能需要根据您的需求对代码进行调整。在代码中加载模型并使用它进行图像生成。
GPT-4发布，全面升级多模态语言模型，AI再创新高！
04-01
OpenAI最新推出的GPT-4是一款全新升级的多模态语言模型，其参数量达到了惊人的数千亿级别，功能也远超前代产品。与前代产品相比，GPT-4不仅能够处理文本，还能够识别图片和视频内容，对于提升文本、图像和视频的处理能力有着非常显著的作用。 GPT-3对GPT-4 在经过RLHF后的post-training，GPT-4展现出了非常出色的表现，远超GPT-3.5。然而，在细节处理方面还存在一定的不足。但是，这一不足并不能掩盖GPT-4在多模态语言处理方面的优异表现。 GPT-4的发布，为人工智能的发展又添了新的里程碑。不难想象，在未来，GPT-4将会有着广泛的应用场景，为各行各业带来更多更好的智能化解决方案。 GPT-4的发布让人们对语言模型的未来充满了期待和好奇。GPT-4是目前最强大的语言模型之一，它具有超过1万亿个参数，可以处理文本、图片和视频等多种形式的数据。在OpenAI官方演示视频中，总裁兼联合创始人Greg Brockman用笔和纸画了一个网站，然后展示给GPT-4，后者仅用1到2秒的时间，就生成了网页代码，制作出了几乎与图中一模一样的网站。 GPT-4的发布对人工
Stable Diffusion 多租户开源框架AI8
阿刘
07-13 1103
目前StableDiffusion Webui是最火的SD框架，它集成众多插件于一身，本文章主要推荐一个基于StableDiffusion Webui API封装的新框架 stablediffusion-website-online ,这个框架实现了多用户同时使用。可以限定部分使用者模型，以及有Tag自动推荐功能。适合企业内部建对外sd或学习StableDiffusion Webui API。
亚马逊云科技提供扩容迅速、成本低、维护方便的Stable Diffusion开源方案
y854414的博客
11-08 203
更快的启动时间：toC业务往往具有高并发的特点，为了迅速响应请求，本方案使用Karpenter进行node的弹性伸缩，底层直接调用了EC2 fleet API，结合基于Bottlerocket构建的snapshot，使得服务冷启动时间最快可达到1分钟内。更精细的并发控制：将Queue Agent与SD WebUI部署在同一Pod，以拉的模式来处理异步任务，能够对并发进行灵活精细的控制，缓解了SD WebUI负载过重无法响应或超时等问题，同时也方便调整超时时间和重试策略等参数来进行针对性优化。
本地部署Stable Diffusion教程，亲测可以安装成功
热门推荐
Pancras Wen的博客
04-07 2万+
Stable Diffusion免费AI绘画软件本地电脑安装，亲测可以成功！
立省千元！Google Colab上的Stable Diffusion安装教程
lb5482464的博客
04-17 2534
只需要在 Google Colab 上安装 Stable Diffusion，就可以在云端运行程序，并且免费获得 16G 的显存。这不仅可以帮你提高计算速度，还可以节省大量的时间和几千元购买GPU的费用。。
stable diffusion教程，详细版，包括解决各种问题
xiaoxiongxia的博客
08-04 2977
stable diffusion教程，详细版，包括解决各种问题
stable diffusion代码学习笔记
qq_33596242的博客
01-11 1457
其实就是log(1-alpha(右下角t)(头上直线))，没有带prev的都是当前时刻t，带prev的是前一时刻t-1。得到了上一刻的噪声图片x_prev后(也就是函数返回的img)，继续迭代，最终生成需要的图片。另外，还有一些参数是训练时候保存的，betas逐渐增大，用来控制噪声的强度。这部分代码应该就是PLMS加速采样用的，论文中有公式推理。
stable-diffusion-webui Github 代码仓库的介绍
SAP 资深技术专家 Jerry Wang 的技术分享
09-18 381
一个基于Web的稳定梯度流生成模型训练工具是一个位于 GitHub 上的开源代码仓库，地址为。该仓库提供了一个基于 Web 的用户界面，旨在简化使用这一生成模型训练工具的过程。在本文中，我们将详细介绍的作用、功能以及如何使用它来训练生成模型，同时提供具体示例以帮助读者更好地理解其使用方法。
多模态项目实战-文本-视频检索-打架识别
03-22
视频检索，主要采⽤BLIP⼤模型的多模态能⼒，项⽬以 在视频中检测 "打架" ⾏为为示例进⾏展示，当然当你拿到项⽬⼯程后，你可以很⽅便的扩展到其他⾏为 的识别检索，因为本身输⼊的检索⽂本和待检测视频是不限定的。...
人工智能-多模态-基于文本和多模态数据的风险识别（色情导流用户识别）
05-08
直接运行run.sh脚本即可 chmod +x run.sh ./run.sh 会在当前目录创建saved目录，目录结构如下 . ├── 1_word2vec.py ├── 2_merge_data.py ├── 3_5_train_kfold.py ├── 4_pseudo_label.py ├── config...
人工智能-多模态-基于baichuan-7b的多模态大语言模型
最新发布
05-08
多模态: 参考LLaVA 和 mPLUG-Owl 的相关工作, 羽人通过建立线性投影层将 LLM 的语言模态和目前最 SOTA 的 CLIP 模型laion/clip-vit-l-14-datacomp.xl-s13b-b90k 的视觉编码器进行融合, 从而实现了卓越的图片理解能力...
基于baichuan-7b的开源多模态大语言模型.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
深度学习代码优化（Config，Registry，Hook）
ZhengrongYue的博客
11-29 1898
深度学习代码优化（Config，Registry，Hook）
【MMCV 源码解读】一、Config（配置文件相关）
qq_38253797的博客
11-23 4141
目录前言一、通过dict生成config1.1、字典对象实现属性访问1.2、字典对象 pretty 输出1.3、@property二、通过配置文件生成 config 前言 一、通过dict生成config 示例a.py： from mmcv import Config cfg = Config(dict(a=1, b=dict(b1=[0, 1]))) print(cfg) # Config (path: None): {'a': 1, 'b': {'b1': [0, 1]}} 源码实现： clas
使用pytorch搭建神经网络
starvapour的博客
02-26 2774
使用pytorch进行机器学习1. Config and Seed2. Transform/Pre-processing3. Dataset4. Dataloader5. Model6. Optimizer7. Loss8. Train9. Val and Save10. Test11. Other11.1 Apex 使用pytorch搭建学习框架中用到的主要结构部分与一些代码的写法。 1. Config and Seed 2. Transform/Pre-processing 3. Dataset 4.
【K8S 之调度器详解】调度器的config、预选、优选、批调度都是什么？
叮当猫的喵i
02-03 926
尽可能地将 workload 平均到不同的节点，减少单个节点宕机造成的损失可扩展性。随着集群规模的增加，怎么保证调度器不会成为性能的瓶颈高可用。调度器能做组成集群，任何一个调度器出现问题，不会影响整个集群的调度灵活性。不同的用户有不同的调度需求，一个优秀的调度器还要允许用户能配置不同的调度算法资源合理和高效利用。调度器应该尽可能地提高集群的资源利用率，防止资源的浪费一般来说，我们有4种扩展 Kubernetes 调度器的方法。
多模态生成模型ERNIE-VILG
07-27
ERNIE-VILG（Enhanced Representation through Knowledge Integration）是一种多模态生成模型。它结合了图像和文本信息，能够同时处理视觉和语言任务。ERNIE-VILG基于ERNIE（Enhanced Representation through Knowledge Integration）模型进行扩展，加入了视觉特征的处理能力，使其能够更好地理解和生成多模态内容。 ERNIE-VILG的设计灵感来自于视觉语言预训练（Vision-Language Pretraining，VLP）任务。它通过将图像和文本对作为输入，预测视觉和语言之间的联系，从而学习到联合的多模态表示。这种联合表示可以用于多种任务，如图像描述生成、视觉问答等。 ERNIE-VILG的训练过程包括两个阶段：预训练和微调。在预训练阶段，模型通过大规模的视觉-语言数据集进行无监督学习，学习到联合的多模态表示。在微调阶段，使用有监督的多模态任务数据对模型进行微调，使其适应具体的任务。 通过结合视觉和语言信息，ERNIE-VILG能够更好地理解和生成多模态内容，具有广泛的应用前景，如图像描述生成、视觉问答等任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值