outpainting的几种实现方式

已于 2024-02-08 13:35:00 修改
阅读量1.6k 收藏 20
点赞数 9
分类专栏： 图像视频生成大模型 文章标签： stable-diffusion
于 2024-02-04 17:53:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/136027780
版权
本文介绍了outpainting的三种实现方式，主要聚焦于稳定扩散模型的应用。通过inpainting与mask结合，使用马赛克或噪声图初始化扩大区域，然后进行填充。另外，还提到了controlnet局部重绘以及powerpaint等方法，这些方法在扩展图像边界时展现出不同的效果和优化策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.inpainting+mask

大部分扩图还是第一种，init_img+init_mask，把原图的区域扩大，扩大后的区域可以用马赛克或者噪声图代替，制作只有原图的mask，尺寸和扩大的图片尺寸一直，再进行inpainting即可。

GitHub - Haoming02/sd-webui-mosaic-outpaint: An Extension for Automatic1111 Webui that trivializes outpaintingAn Extension for Automatic1111 Webui that trivializes outpainting - GitHub - Haoming02/sd-webui-mosaic-outpaint: An Extension for Automatic1111 Webui that trivializes outpainting

了解本专栏 订阅专栏 解锁全文 超级会员免费看
尺寸拓展和Outpainting
liguandong
05-27 236
我们之前做尺寸拓展还是在改变输入图片尺寸的前提下，对原始图片进行尺寸放大，这种做法对原始图片不会产生不存在概念的延展，是纯拓扑的变换，但是目前的尺寸拓展基本都是outpainting这条路，也就是说图片本身是存在生成的，会有新的概念的产生，用特定数据去做微调还是希望其联想性不要太强，如果不是通用场景的拓展的话，生成的越多，则拓展产生的不确定因素越多。通过遮掩建模的训练方法以及把全局视频片段引入交叉注意力层，该模型不仅能够通过引导帧的技术来保证在多次推理的视频片段中确保时序一致性，还能降低相邻帧之间的抖动。
视频外绘技术总结：Be-Your-Outpainter、Follow-Your-Canvas、M3DDM
沉迷单车的追风少年
01-27 1636
视频Inpaint的技术很火，但是OutPaint却热度不高，这篇博客总结比较经典的几篇视频Outpaint技术。其实Outpaint在runway等工具上很火，可是学术界对此关注比较少，博主从这三年的顶会中找到了最具代表性的三篇论文解读。
基于Gradio实现的AI扩图（Outpainting）
深度学习机器
01-02 2713
Outpainting（图像外部填充）是一种图像处理技术，与Inpainting（图像内部填充）相反，可以根据现有图像的内容、风格和上下文，合成与原始图像相协调的新内容，从而扩展图像的视觉范围。通俗地说，Outpainting也属于图像编辑，只是把Mask区域改成往外扩展而已。
Outpainting & Inpainting
qq_43701910的博客
06-01 890
Outpainting 关注于扩展图像的边界，在图像的边缘外进行绘制和生成，扩展图像的视野；而 Inpainting 则专注于修复图像内部的缺失或损坏部分，是填充图像中缺失的部分。
Stable Diffusion介绍 inpaint&outpaint
最新发布
HJS123456780的博客
02-06 342
图生图是StableDiffusion最基本的板块之一，在图生图板块下面，图生图和涂鸦都是其基本功能，虽然图生图可以以输入的图片为参照，生成新的图像，但生成的图像是完全重新绘制的，虽然风格跟构图可以跟参考图像接近，但是如果我们有时候希望。
outpainting
weixin_42104008的博客
03-26 479
论文阅读《Wide-Context Semantic Image Extrapolation》与代码实现 https://blog.csdn.net/weixin_42360095/article/details/95448109 Conda包环境管理基本操作 https://www.jianshu.com/p/777ea4b8d4e2
Diffusers代码学习: Outpainting
duhaining1976的博客
06-15 1248
AIGC研究及应用系列
图像超补全（Outpainting）技术的前沿模型与数据集资源汇总
m0_49711991的博客
09-25 1814
lmage outpainting”这一概念是由斯坦福大学 CS230 课程的 Mark Sabini 等人提出，相较于图像修复技术，lmage outpainting 更进一步，能够从给定的图像片段中“补全”出缺失的外延部分，以精妙的方式补全画面，从而构建出一个完整且连贯的视觉世界。另外，所提出的论文在吴恩达的斯坦福大学 CS230 课程中获得了期末 Poster 的第一名。论文地址：https://arxiv.org/pdf/1808.08483。
探索未知：Image-OutPainting，边界外的艺术创新
gitblog_00012的博客
04-09 495
探索未知：Image-OutPainting，边界外的艺术创新 去发现同类优质开源项目:https://gitcode.com/ 在这个数字艺术的时代，我们常常渴望超越传统图像编辑的限制。由开发者BenDangNukSung创建的Image-OutPainting项目，就是这样一个创新工具，它利用深度学习技术，帮助你在原有图片的基础上创造出全新的视觉世界。 项目简介 Image-OutPainti...
Image Outpainting技术：基于GNN的图像外延推断方法
Image-OutPainting是一种计算机视觉技术，它的目的是在给定一个图片的部分区域的基础上，智能地推断和生成这个图片的其余部分，使图片内容完整或扩大图片的可视范围。 #### 描述解析：Keras实现图像外涂 描述中...
NS-Outpainting:通过外包进行非常长的自然风光图像预测，ICCV2019，TensorFlow
05-24
通过涂装预测非常长的自然风光图像（NS-涂装） 在实现的用于风景图像输出的神经体系结构（ ）。 该体系结构能够通过耗费大量精力从小的输入图像中生成非常长的高质量预测： 要求和准备 请安装TensorFlow>=1.3.0 ， Python>=3.6 。 为了进行培训和测试，我们收集了一个新的补漆数据集，其中包含6,000张包含复杂自然场景的图像。 您可以从下载原始数据集，然后自己拆分训练和测试集。 或者，您可以从拆分（TFRecord格式，128分辨率，5,000张图像进行培训和1,000张用于测试）。 用法 为了进行培训和评估，可以使用和 请记住在其中设置TFRecord数据集路径。 此外，您可以从获取我们的预训练模型，然后运行eval_model.py对其进行评估。 运行eval_model.py之后，评估过程将存储4种类型的图像： “ ori_xxx.jpg”，大小为1
Python-Keras实现的ImageOutPainting用GAN绘制画框外的世界
08-11
Keras实现的Image OutPainting：用GAN绘制“画框外”的世界
探索【Stable-Diffusion WEBUI】的插件：画布扩绘（Outpaint）
Shion's bla bla blog
04-23 7657
相比在里面画，扩大画布并脑补其中内容，感觉挺有意思的。
【AI绘画】stable diffusion -人物三视图实验尝试（多角度图像）
xxwn200301的博客
08-05 764
1.使用charturnerv2For1_5（TEXTUAL INVERSION）得到的结果：可以看到，并不是我们想要的类似人物设计的三视图，或者多角度图片。2.使用 charturnerv2For1_5 + controlnet（控制人物姿势）：确实是想要的多角度图片，但是小图上人物细节很差，几乎没有脸部刻画，并且小图中人物服装也不一致。
GAN属于计算机视觉领域嘛_为什么说 GAN 很快就要替代现有摄影技术了？
weixin_39611506的博客
11-21 458
【新智元导读】自 GAN 诞生以来，在计算机视觉领域中表现可谓是惊艳连连：文本 - 图像转换、域迁移、图像修复 / 拓展、人脸合成甚至是细微表情的改变，无所不能。本文对此进行了盘点，并且作者表示：GAN 很快就可能替代现有的摄影技术了！AI 生成的图像可能会取代现有的摄影技术。许多人当听到 “人工智能”、“机器学习” 或者 “bot” 的时候，首先浮现在脑海当中的应当是科幻片中经常出现、未来感十足...
“离谱的AI扩图”火了！张张那叫一个出其不意
Java和Android架构
12-07 136
上一篇：2023年到年底了，各互联网公司年终奖发放时间大爆料！作者：金磊 西风转自：量子位 | 公众号 QbitAI家人们，真的是要被抖音AI扩图给笑死了——主打一个看完让人“意想不到”、“一肚子气”~例如一对恩爱情侣的照片在AI扩图前是非常有信仰感的：△素材来源：抖音@快乐野人但在AI扩图一通“神操作”之下，画风简直是180度大反转：△素材来源：抖音@快乐野人网友们在看过之后哭笑不得，打趣称“...
Stable Diffusion 对原始图像进行拓展
Mr数据杨
06-26 3125
Outpainting 技术通过拓展和丰富图像边界，使得图像创作和编辑突破了传统的分辨率限制，为创作者提供了更为广阔的想象和叙事空间。从初始图像的选择与生成到参数设置和扩展效果的控制，每个步骤都影响着最终图像的效果。本文详尽探讨了这一过程中的关键细节，使读者能够准确掌握 Outpainting 的操作要点。通过对该技术的有效运用，可以创作出与原始图像风格连贯的高分辨率图像，从而提升作品的视觉表现力，实现更丰富的图像表达。
AI稳定生成图工业链路打造
liangwqi的博客
02-20 2487
AI生成图片，如何打造建立一套稳定的工业生产链路
outpainting 模型下载
12-12
outpainting 模型是一种用于图像修复的神经网络模型，其主要功能是根据输入的部分图像来自动生成缺失的部分。这种模型在计算机视觉和图像处理领域有着广泛的应用，可以用于修复老照片、修复损坏的图像、甚至用于艺术创作等方面。 要下载 outpainting 模型，首先需要找到可靠的模型源，通常可以在学术论文的附录中找到模型的链接或者在开源社区中获取。其次需要确保模型的下载途径安全可靠，避免下载到恶意软件或者侵权的模型。一旦找到了可靠的模型源，可以根据指引选择合适的模型版本并进行下载。 在下载模型之后，还需要了解模型的使用方法和参数设置，通常会有相应的文档或者示例代码供参考。如果是在特定的开发平台上使用模型，还需要确保模型和平台的兼容性。 总之，下载 outpainting 模型需要找到可靠的模型源、选择合适的模型版本、确保下载安全可靠，并学习模型的使用方法和参数设置。只有这样才能正确地使用 outpainting 模型进行图像修复和相关的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值