模型实践 | CLIP-GEN无需文本训练即可文字生成图像

VIP文章 已于 2022-10-10 14:27:34 修改
阅读量1.4k 收藏 2
点赞数 1
分类专栏： 幻方AI模型实践 文章标签： 计算机视觉 深度学习 人工智能
于 2022-08-15 15:14:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_66945478/article/details/126347136
版权

实验｜King小杞      算力支持｜幻方AIHPC

CLIP-GEN

随着 Transformer 模型的发展，近些年多模态模型获得了长足的发展，使得不同任务不同领域可以实现特征的打通，变换出很多新奇好玩的场景。其中非常热门的就是让 AI 学会看文作图，即文字生成图像，如 OpenAI 的 CLIP 模型，其基于带文字的图像数据集上，训练出很惊艳的效果。

然而，收集这些带文字的图像数据集成本非常高。最近字节在 Arxiv 上发表了一项文本生成图像 (text2img) 的工作，其利用对抗网络 GAN 改造 CLIP模型，使得 CLIP-GEN 可以不依赖带文字描述的图片数据集，直接使用无文本图像数据集进行训练，通过预训练好的  CLIP 模型建立起文本和图像的映射关系。在很多实验数据中表明，它的效果比 VQGAN-CLIP 要真实，尤其是泛化能力还比不少用大量“文本-图像”数据对训练出来的模型要好很多。

幻方 AI 最近复现了该项工作，并通过幻方自研的 3FS、hfreduce、

最低0.47元/天 解锁文章
幻方AI小编
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
txt2img：基于OpenCV的程序可以将文本保存为图片
06-19
下载地址：http://groups.google.com/group/pengjun85/web/txt2img.rar 使用方法： 1、将你想要转化为图片的文字放到textlist.txt中，按行存放 2、将你的设置信息放到Setting.txt中，下面说下Setting.txt中的数据的意义。 第一行 生成图片的宽度 第二行 生成图片的高度 第三行 文字所在的X坐标 第四行 文字所在的Y坐标 第五行 文字颜色的R值 第六行 文字颜色的G值 第七行 文字颜色的B值 3、然后运行txt2img.exe就可以了，生成的图片在result目录下
深度学习实战9-文本生成图像-本地电脑实现text2img
weixin_42878111的博客
11-03 2310
大家好，我是微学AI，今天给大家带来一个文本生成图像的案例。让大家都成为艺术家，自己电脑也能生成图片。
【扩散模型】9、DALL-E2 | 借助 CLIP 的图文对齐能力来实现文本到图像的生成
呆呆的猫的博客
12-21 1698
本文主要介绍扩散模型 DALLE-2
Python库 | clip-server-0.1.2.tar.gz
04-07
资源分类：Python库 所属语言：Python 资源全名：clip-server-0.1.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
使用OpenAI CLIP进行文本到图像和图像到图像的搜索
FrenzyTechAI的博客
09-05 2325
在现如今信息量爆炸的时代，像政府、公安和零售等行业面临着海量的数据处理需求。比如，在车辆卡口数据中，需要快速检索和匹配大量的信息，找到嫌疑车辆进行布控；在物品和商品识别方面，需要进行相似性搜索，找到相关性证据，还有在一些重大节假日，安保问题以及重点人员的布控，以前我们只能基于结构化数据使用Flink或者Spark等大数据框架做海量大数据的实时比对。如果在只有一张图片的时候，如何从庞大的数据仓库中快速检索找到相似性TopN条结果记录也成为了一个重要的业务场景。
本地AI text2img生成工具【类似midjourney】
weixin_38620636的博客
03-24 628
我们可以向里面传入一些参数，例如模型、case和FG规格等等，生成出我们想要的图片。当然，在本地运行时，图片的画质会更好一些，但是电脑性能较差时，运行时间可能会比较长，生成的图片质量也会相应较差。这个软件的优点在于，不需要翻墙就可以使用，而且生成的图片不会受到官方的限制，我们可以生成任何我们想要的图片。完成这些步骤后，我们就可以在Windows上运行.bat脚本来生成图片了。第一次运行脚本时，它会帮我们下载一些依赖，这个过程可能比较漫长。下载完成后，会弹出一个窗口，里面有一个本地链接。
stable diffusion webui 文生图（txt2img）api接口调用（使用C#）
热门推荐
qq_40600379的博客
06-10 1万+
2、添加以下代码到你的项目中，直接运行即可，请求的是本地运行的接口，如下的【http://127.0.0.1:7860/sdapi/v1/txt2img】，需要替换为读者自己的路径。复制images数组其中一张图片的base64值，在网上找一个base64转图片的在线工具，粘贴后，可以看到生成的图片如下，这表示我们成功通过接口请求了sd webui api接口。注：这里只设置–api-auth的密码是无效了，login接口，是用于ui页面登录的，原有代码是没有api-auth接口返回token的。
[linux-sd-webui]之txt2img
liguandong
05-05 1962
【代码】[linux-sd-webui]之txt2img。
Text2Room：第一个从文本生成室内三维场景的方法！
专注计算机视觉全栈知识分享
04-19 708
论文展示了一种仅从文本输入生成纹理三维网格的方法。论文使用text-to-image的2D生成器来创建一个图像序列。论文的方法的核心洞察力是一个定制的视点选择，它允许创建一个具有无缝的几何图形和引人注目的纹理的3D网格。具体来说，论文通过使用深度对齐策略，将图像提升到一个尺度一致的三维场景中，该对齐策略迭代地将所有图像融合到网格中。论文的输出网格表示可以用经典的光栅化渲染pipeline的得到任意室内场景。研究者相信，论文的方法展示了大规模3D资产创建的一个令人兴奋的应用，它只需要文本作为输入。
喂饭级stable_diffusion_webUI使用教程
Debug的博客
04-12 8036
首次启动会自动下载一些 Python 依赖库（具体哪些库请看工程下的 requirements.txt） ，以及项目需要用到的配置和模型文件（比如：v1-5-pruned-emaonly.safetensors，将近 4 个 G~），初始化一次之后，下次启动就快了。：高版本显卡是可以安装低版本的 CUDA 驱动的，比如我也可以安装经典的 10.2 版本，但是安装 11.6 版本可以获得更高的 GPU运行效率，所以一般来说推荐安装显卡支持的最高 CUDA 版本。如未勾选，勾选后点击橙色按钮启用本扩展。
PyPI 官网下载 | x-clip-0.0.15.tar.gz
01-30
资源来自pypi官网。 资源全名：x-clip-0.0.15.tar.gz
Python库 | blur-clip-board-image-cli-0.0.2.tar.gz
04-06
资源分类：Python库 所属语言：Python 资源全名：blur-clip-board-image-cli-0.0.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
CSS中的clip-path区域裁剪属性使用教程
12-13
CSS中的clip-path能够让你指定一个网页元素的显示区域，而不是缺省的显示全部。 CSS Code复制内容到剪贴板 .clip-me {  /* 已被标志为不推荐使用的写法 */  position: absolute; /* 需要 absolute 和...
目标检测的mAP、PR指标含义
xw2017的博客
04-23 349
精确率（Precision）表示预测为正样本中真正是正样本的比率，召回率（Recall）表示实际正样本中真正是正样本的比率。表示在不同IoU阈值（从0.5到0.95，步长0.05）（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均mAP。将IoU设为0.5时（大于设定阈值才认为预测正确），计算每一类所有图片的AP，然后所有类别求平均，即mAP。两个算法模型都能成功预测图片中出现的细胞，并且每个bbox都标注一个类别，每个类别还有相应的置信度。
计算机视觉的应用29-卷积神经网络(CNN)中的变种：分组卷积、转置卷积、空洞卷积的计算过程
最新发布
weixin_42878111的博客
04-27 1105
大家好，我是微学AI，今天给大家介绍一下计算机视觉的应用29-卷积神经网络(CNN)中的变种：分组卷积、转置卷积、空洞卷积的计算过程。分组卷积将输入通道分为几组，对每组独立进行卷积操作，以减少计算量和模型参数。转置卷积也称为反卷积，它通过将输入特征图的元素扩展到更高维度的输出特征图来执行上采样。空洞卷积通过在输入特征图上引入“空洞”或“间隙”来增加感受野，从而在不增加额外参数的情况下扩大卷积核的有效覆盖范围。
计算机视觉 | 交通信号灯状态的检测和识别
ttrr27的博客
04-22 785
Hi，大家好，我是半亩花海。本项目旨在使用计算机视觉技术检测交通信号灯的状态，主要针对红色和绿色信号灯的识别。通过分析输入图像中的像素颜色信息，利用OpenCV库实现对信号灯状态的检测和识别。
【目标检测】Yolov7 的 ELAN 和 E-ELAN 模块演进（涉及到分组卷积，cardinality，梯度路径）
Jiangnan_Cai的博客
04-23 1070
ELAN，E-ELAN，VovNet，CspVovNet，DenseNet
三个目前主流的计算机视觉软件
地球空间
04-19 1211
这些软件在计算机视觉领域都有着重要的地位，它们提供了一系列的工具和库，使得研究人员和开发者能够构建复杂的视觉系统。尽管如此，将计算机视觉的能力直接与人类的视觉能力进行比较并不完全准确，因为它们的工作原理和处理信息的方式存在根本差异。1. **图像识别**：计算机可以识别图像中的物体、场景和活动，准确率在某些情况下甚至超过了人类。3. **语义分割**：将图像中的每个像素分配到特定的类别，用于理解图像的详细内容。5. **图像生成**：生成逼真的图像，如通过GANs（生成对抗网络）。
clip-gen实现新视图
12-21
clip-gen是一个基于CLIP模型的图像生成工具，它可以根据给定的正向提示词生成新的视图。CLIP模型是一个联合训练的图像-文本模型，它可以将图像和文本嵌入到一个共享的向量空间中。clip-gen利用CLIP模型的这种能力，通过调整输入图像的向量表示来生成新的视图。 下面是使用clip-gen生成新视图的示例代码： ```python import torch import clip from PIL import Image # 加载CLIP模型 device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) # 加载输入图像 image_path = "input.jpg" image = preprocess(Image.open(image_path)).unsqueeze(0).to(device) # 设置正向提示词 prompt = "ocean view" # 生成新视图 with torch.no_grad(): z = model.encode_image(image) z += model.encode_text(clip.tokenize(prompt).to(device)).mean(dim=0) new_image = model.decode(z).cpu() # 保存生成的新视图 output_path = "output.jpg" new_image = new_image.squeeze(0).permute(1, 2, 0).clamp(0, 1).numpy() Image.fromarray((new_image * 255).astype("uint8")).save(output_path) ``` 在上面的代码中，我们首先加载了CLIP模型，并将输入图像预处理为模型所需的格式。然后，我们设置了正向提示词，这将影响生成的新视图的内容。接下来，我们使用CLIP模型对输入图像和正向提示词进行编码，并将它们相加得到新的图像表示。最后，我们使用CLIP模型的解码器将新的图像表示解码为图像，并保存生成的新视图。 请注意，上述代码中的输入图像和输出图像都应该是合适的图像文件路径。你可以根据自己的需求修改代码中的路径和正向提示词来生成不同的新视图。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

幻方AI小编

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值