AIGC-生成式人工智能
文章平均质量分 95
汇总了所有AIGC相关知识的原理,以及最常用的几种算法
杀生丸学AI
分享领域最新知识!(深度学习,视觉方向)。b站〔方矩实验室〕
展开
-
【三维修复、分割与编辑】InFusion、Bootstrap 3D、GaussianGrouping、GaussianEditor等(论文总结)
总结了最近两年基于Gaussian Splating的编辑、分割与修复原理,涵盖了Infusion、Bootstrap 3D 、GaussianGrouping、GaussianEditer等算法原理原创 2024-05-22 10:44:47 · 1417 阅读 · 0 评论 -
【三维重建】【SLAM】SplaTAM:基于3D高斯的密集RGB-D SLAM(CVPR 2024)
SplaTAM,一个新的SLAM系统,利用3D Gaussian Splatting作为底层map表示,渲染和优化更快,明确的地图空间范围,和流线型的地图稠密化。可以同时优化pose估计、场景重建和新视图合成原创 2024-02-29 18:37:09 · 3846 阅读 · 0 评论 -
【跨模态】【对比学习】CLIP:文本监督CV的预训练(2021)
介绍CLIP模型及其下游应用原创 2022-11-13 22:44:56 · 4448 阅读 · 4 评论 -
【多模态】平衡多模态学习(讨论与文章汇总)
随着硬件升级和大模型容量的不断提升,多模态学习越来越成为当前机器学习的主流学习方式。这里探讨了多模态学习过程中存在的问题,以及一些解决方法、未来展望。原创 2023-10-09 23:17:30 · 1969 阅读 · 2 评论 -
【目标检测】Grounding DINO:开集目标检测器(CVPR2023)
Grounding DINO,一种开集目标检测方案,将基于Transformer的检测器DINO与真值预训练相结合。开集检测关键是引入自然语言至闭集检测器,用于open world的检测。Grounding DINO将检测器分为三个阶段的紧密融合方案,包括。可实现对新颖类别进行检测,特定属性目标识别。在COCO数据集上零样本检测达到52.5AP,在COCO数据集finetune后达到63AP。原创 2023-05-11 16:36:30 · 4761 阅读 · 10 评论 -
【图像分割】视觉大模型SEEM(Segment Everything Everywhere All at Once)原理解读
视觉通用大模型第二弹!继SAM之后,更加通用、交互式且包含语义的分割大模型原创 2023-05-04 17:11:59 · 6196 阅读 · 2 评论 -
【图像&三维编辑】DragGAN与Drag3D(原理+代码)
合成满足用户需求的视觉内容通常需要对生成对象的姿态、形状、表达和布局的灵活和精确的可控性。“拖动”图像中的任何点,精确修改图像到目标点。它由两个主要组件组成1)一种基于特征的运动监督,驱动手柄点向目标位置移动;2)一种新的点跟踪方法,利用鉴别生成器特性来保持定位手柄点的位置。DragGAN可以使图像变形,精确控制像素的位置,从而操纵不同类别的姿态、形状、表达和布局,如动物、汽车、人、景观等。原创 2023-07-05 23:10:56 · 2284 阅读 · 1 评论 -
【AIGC】【AI绘画】controlNet介绍(原理+使用)
ControlNet是一种用于生成图片的神经网络模型,近年来在生成图片领域非常热门。其主要思想是通过引入控制向量(control vector)来指导生成过程,以实现对生成图像的精细控制。这个控制向量通常包含一些语义信息,比如图像的风格、表情、姿态等。通过调整控制向量的数值,可以在不改变其他图像特征的情况下,对生成的图像进行精细的编辑和控制。原创 2023-09-05 11:56:56 · 3534 阅读 · 0 评论 -
【图像生成与编辑】最新进展!Inpaint Anything、Edit Everything 和 Grounded SAM:一文了解最强大的图像生成、修复和编辑技术
在CV和NLP领域,最近涌现出了许多跨模态的大模型,在处理图像和文本数据时取得了令人瞩目的成果。其中,生成模型是一类重要的模型,可以生成新颖的图像、文本或音频等内容,具有重要的实用价值。和,利用了最新的深度学习技术和模型架构,创造性地解决了图像生成、修复和编辑等问题,具有许多实际应用价值。具体来说, Inpaint Anything 主要用于实现物体移除、内容填补、场景替换等图像修复和编辑任务;Edit Everything 则是一个基于文本引导的图像生成和编辑系统;原创 2023-05-20 23:42:07 · 2503 阅读 · 3 评论 -
【生成模型】DDPM概率扩散模型(原理+代码)
DDPM即 Denoising Diffusion Probabilistic Model概率扩散模型,原理+代码解析原创 2022-11-23 23:49:14 · 31114 阅读 · 26 评论 -
【生成模型】Stable Diffusion原理+代码
Stable diffusion是一个基于(潜在扩散模型,LDMs)的文图生成(text-to-image)模型。具体来说,得益于的计算资源支持和在LAION-5B的一个子集数据支持训练,用于文图生成。通过在一个潜在表示空间中迭代“去噪”数据来生成图像,然后将表示结果解码为完整的图像,让文图生成能够在消费级GPU上,在10秒级别时间生成图片。目前,Stable Diffusion发布了v2版本。原创 2023-02-17 23:45:54 · 15430 阅读 · 13 评论