- 博客(50)
- 资源 (2)
- 收藏
- 关注
原创 【论文阅读笔记】Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields
如图1所示,**我们可以看到MipNeRF呈现了高质量的渲染,但是,它的重建速度非常慢(最多约3天),这极大地阻碍了适用性。工作线程致力于通过将场景分割成许多单元[42,43]来降低推理的复杂性,学习减少每条射线的样本[27,38],或缓存训练字段值[20,17,56,6]来减少渲染中的计算。我们的 Tri-MipRF 生成的代理网格即使在复杂的结构细节中也呈现出高保真的质量,如图 4 (a) 的左侧所示,而 Instant-ngp [37] 和 NeuS [49] 产生的结果显示在右侧作为参考。
2024-08-11 16:00:21
996
原创 【论文阅读笔记】Meta 3D AssetGen
我们提出了 Meta 3D AsetGen (AssetGen),这是文本到 3D 生成的重大进步,它产生了忠实、高质量的网格,具有纹理和材料控制。与在 3D 对象外观中烘烤阴影的作品相比,AsetGen 输出基于物理的渲染 (PBR) 材料,支持逼真的重新照明。AsetGen 使用分解阴影和反照率外观通道生成对象的前几个视图,然后使用延迟阴影损失重建 3D 中的颜色、金属度和粗糙度以进行有效监督。**它还使用符号距离函数更可靠地表示 3D 形状,并为直接形状监督引入了相应的损失。
2024-07-06 18:43:02
906
1
原创 【论文阅读笔记】HYPERHUMAN: HYPER-REALISTIC HUMAN GENERA-TION WITH LATENT STRUCTURAL DIFFUSION
1)我们高效的架构设计(仅添加轻量级分支)实际上可以在更小的数据集规模和更少的训练迭代下产生合理的结果,捕获 RGB、深度和表面法线的联合分布。此外,在最后的评估过程中,我们在不绘制的帮助下使用原始人体姿势,但仍然可以达到卓越的性能。我们将此视为一个有前途的研究问题,并将在未来的工作中对其进行探索。1)我们可以将我们的模型更改为更小的扩散主干,以节省计算和内存成本,例如 Small SD 和 Tiny SD (Kim et al., 2023),与稳定扩散实现了相当的性能,但在训练和推理方面更轻、更快。
2024-07-06 17:16:13
712
原创 【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds
现有的基于 ID 嵌入的方法,虽然只需要一个前向推理,但面临挑战:它们要么需要对众多模型参数进行广泛的微调,缺乏与社区预训练模型的兼容性,要么无法保持高人脸保真度为了解决这些限制,我们引入了 InstantID,这是一种强大的基于扩散模型的解决方案。我们的即插即用模块擅长仅使用单个面部图像处理各种风格的图像个性化,同时确保高保真度为此,我们设计了一种新的,通过施加强语义和弱的空间条件,将人脸和地标图像与文本提示相结合,引导图像生成。
2024-02-04 16:40:28
2280
2
原创 【论文阅读笔记】Taming Transformers for High-Resolution Image Synthesis
旨在学习序列数据的远程交互,transformer继续在各种任务中展示最先进的结果。与 CNN 相比,它们不包含优先考虑局部交互的归纳偏差。这使得它们具有表现力,但对于长序列(如高分辨率图像)也在计算上是不可行的。我们演示了如何将cnn的归纳偏差与变压器的表达能力相结合,使它们能够建模,从而合成高分辨率图像。我们展示了如何 (i) 使用CNN 来学习图像成分的上下文丰富的词汇进而 (ii) 利用transformer有效地对它们在高分辨率图像中的组成进行建模。
2024-02-02 21:25:47
1754
3
原创 【论文阅读笔记】Advances in 3D Generation: A Survey
生成 3D 模型位于计算机图形学的核心,一直是几十年研究的重点。随着高级神经表示和生成模型的出现,3D 内容生成领域发展迅速,能够创建越来越高质量和多样化的 3D 模型。该领域的快速增长使得很难跟上所有最近的发展。在本次调查中,我们旨在介绍 3D 生成方法的基本方法并建立结构化路线图,包括 3D 表示、生成方法、数据集和相应应用。
2024-02-01 18:28:24
1117
原创 【论文阅读笔记】Würstchen: AN EFFICIENT ARCHITECTURE FOR LARGE-SCALETEXT-TO-IMAGE DIFFUSION MODELS
开发了一种潜在的扩散技术,其中我们学习了一个用于指导扩散过程的详细但极其紧凑的语义图像表示。与语言的潜在表示相比,图像的这种高度压缩的表示提供了更详细的指导,这显着减少了实现最先进结果的计算要求。(直观上理解就是文本的表示和图像的表示tokens一起作为条件引导图像生成)基于用户偏好研究提高了文本条件图像生成的质量。与稳定扩散 2.1 的200,000 GPU 小时相比,我们方法的训练需求由 24,602 A100-GPU 小时组成。我们的方法还需要较少的训练数据来实现这些结果。
2024-02-01 17:31:38
1242
2
原创 【论文阅读笔记】Make-A-Character: High Quality Text-to-3D Character Generation within Minutes
定制和富有表现力的3D角色的需求越来越大,但传统的计算机图形学手动创建创建是昂贵的。提出了一个名为 Make-A-Character (Mach) 的用户友好的框架,以从文本描述中创建类似生命的 3D 化身。该框架利用大型语言模型的强大功能进行文本意图理解和中间图像生成,然后是一系列面向人类的视觉感知和 3D 生成模块。两分钟左右生成、可以和现有CG管道集成、可支持动画驱动。
2024-02-01 15:31:59
1186
1
原创 【论文阅读笔记】NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images
通过联合优化许多输入图像上的单个场景表示,NeRF对高水平的图像噪声具有惊人的鲁棒性。我们利用这一事实直接在完全未处理的HDR线性原始图像上训练RawNeRF。在这个仅由单个蜡烛 (a) 照明的夜间场景中,RawNeRF 可以从经过后处理 (b, c) 破坏的噪声原始数据中提取细节。RawNeRF 恢复完整的 HDR 颜色信息,使 HDR 视图合成任务成为可能,例如改变渲染新视图的焦点和曝光。生成的渲染可以像任何原始照片一样修饰:在这里,我们展示了 (d, left) 具有简单全局色调映射的暗全焦曝光和 (
2024-01-05 01:50:18
778
原创 【论文阅读笔记】Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
MipNeRF360是在NeRF++和MipNeRF的基础上进行的扩展,利用NeRF++提出的远景参数化技巧和MipNeRF的低通滤波思想同时实现了无界场景的高质量渲染与抗锯齿。现有方法在新视角合成方面取得了令人影响深刻的结果但是现有方案由于附近和远处物体的细节和比例不平衡导致模糊和低分辨率渲染场景参数化在线蒸馏和一种失真正则化来克服抗锯齿和无界场景渲染目标场景是相机围绕一个点旋转360度的场景,同时能够得到较低的误差和更好的渲染质量、更详细的深度图使用一种新颖的类卡尔曼场景参数化。
2024-01-04 14:38:33
2378
原创 【论文阅读笔记】DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance
文本引导的3D数字人脸生成。
2023-12-31 18:16:59
1058
1
原创 【论文阅读笔记】NeRF+Mip-NeRF+Instant-NGP
NeRF是NeRF系列的开山之作,将三维场景隐式的表达为神经网络的权重用于新视角合成。MipNeRF和Instant NGP分别代表了NeRF的两个研究方向,前者是抗锯齿,代表着渲染质量提升方向;后者是采用多分辨率哈希表用于加速NeRF的训练与推理速度。通过NeRF实现新视角合成。
2023-12-10 23:26:16
1903
1
原创 【论文阅读笔记】Prompt-to-Prompt Image Editing with Cross-Attention Control
文本驱动的图像编辑
2023-11-28 19:26:08
855
原创 【论文阅读笔记】InstructDiffusion: A Generalist Modeling Interface for Vision Tasks
通过训练统一多视觉任务提升模型性能和泛化性能
2023-11-27 19:44:55
666
原创 【论文阅读笔记】StyleAvatar3D: Leveraging Image-Text Diffusion Models for High-Fidelity 3D Avatar Generation
伴随文生图扩散模型在3d内容生成方面的应用,提出一种3D风格化身生成方法。通过利用预训练的文本到图像扩散模型来生成风格化的 3D 化身,该框架提供了使用文本提示定义样式和面部属性的能力,大大提高了化身创建的灵活性。所提出的从粗到细的鉴别器可以有效地解决生成的训练图像和姿势之间的错位问题,从而提高利用姿态标注不准确的图像数据。最后,开发了一个基于潜在扩散的附加条件生成模块,实现了基于图像输入的 3D 模型生成。
2023-11-25 22:38:37
169
原创 【论文阅读笔记】Emu Edit: Precise Image Editing via Recognition and Generation Tasks
基于指令的图像编辑,Emu Edit
2023-11-22 18:42:26
1313
原创 【论文阅读笔记】Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack
论文阅读笔记:Emu
2023-11-22 13:53:30
364
原创 【面试题合集】(1)
生成对抗网络(GAN)中的模式崩塌是指生成器网络只能生成有限的几种样本,而不能生成更多的样本。在扩散模型中,模型通过迭代地应用马尔可夫链的转移算子来生成样本,而不需要通过生成器和判别器的对抗训练。生成过程更加确定性:扩散模型的生成过程是确定性的,每个时间步都根据前一个时间步的样本生成下一个时间步的样本。这种确定性的生成过程可以避免生成器网络学习到有限的样本特征,并且可以保证生成样本的多样性。这种简单的模型结构使得模型更容易学习到数据的分布,并且不容易出现模式崩塌的问题。
2023-09-24 18:41:41
946
原创 百度conda、pypi、apt源
Miniconda 是一个 Anaconda 的轻量级替代,默认只包含了 python 和 conda,但是可以通过 pip 和 conda 来安装所需要的包。Miniconda 安装包可以到http://mirrors.baidubce.com/anaconda/miniconda/下载。Anaconda安装包可以到http://mirrors.baidubce.com/anaconda/archive下载。配置完后,即可使用百度pypi源安装您所需要的Python库。
2023-09-04 15:05:40
1131
原创 ubuntu20.04 安装colmap 报错:Cmake error while running “cmake .. -GNinja“ command during installation
日常Debug:Colmap安装过程中编译报错
2023-07-28 02:40:03
518
原创 使用FFmpeg将视频帧转换为png图像
一个使用ffmpeg多进程将大量mp4文件转换为对应多帧png/jpg/bmp等图片文件的代码实例,其中png存储于与视频同名的文件夹当中。
2023-02-28 04:11:07
3508
1
原创 关于python:Cython ValueError:ValueError: Buffer has wrong number of dimensions (expected 2, got 3)
[TOC](关于python:Cython ValueError:ValueError: Buffer has wrong number of dimensions (expected 1, got 2))
2023-02-12 03:23:45
389
原创 ubuntu 20.04配置蓝牙以及 btusb not found解决
想把ubuntu20.04当做日常开发平台,需要连接蓝牙耳机所以记录一下蓝牙配置和debug过程。又是debug的一天。有问题欢迎留言~
2022-07-31 16:50:05
10420
4
原创 AttributeError: module ‘distutils‘ has no attribute ‘version‘
(深度学习日常报错)AttributeError: module 'distutils' has no attribute 'version' :
2022-07-14 20:55:01
912
原创 python提取COCO,VOC数据集中特定类,实现xml转coco(voc转coco)格式
python提取COCO数据集中特定类别,VOC数据集中特定类别,实现xml转json(voc转coco)格式
2022-05-05 00:08:11
2140
1
原创 Mac端Clion首次运行debug,无法执行解决方案
Mac端Clion首次运行debug,无法执行解决方案将Perferences中的Toochains下的Debuuger设置为gdb即可将Perferences中的Toochains下的Debuuger设置为gdb即可Mac端Clion首次运行debug,无法执行解决方案
2022-02-14 02:10:56
1416
翻译 LIME原文翻译
文章目录前言“Why Should I Trust You?” Explaining the Predictions of Any Classifier摘要1 介绍2 The Case for Explanations 解释的理由Desired Characteristics for Explainers 解释者期望的特征3 Local Interpretable Model-Agnostic Explanations 局部可解释模型不可知解释3.1 Interpretable Data Represent
2021-05-27 16:16:57
2004
2
原创 Linux学习笔记(3)- 网络编程以及范例程序
网络编程以及范例程序前言网络介绍IP地址的介绍端口和端口号的介绍通信流程socket介绍TCP介绍python3编码转换TCP客户端程序开发流程多任务版TCP服务器程序开发总结前言TCP/IP网络编程基础知识可参见1.https://blog.csdn.net/weixin_42048417/article/details/80459671?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-0&spm=1001.210
2021-03-15 21:33:03
206
原创 Linux学习笔记(2)-进程与线程相关介绍与范例
Linux学习笔记(2)-进程与线程相关介绍与范例前言多任务介绍进程的介绍多进程完成多任务线程的介绍多线程完成多任务总结前言本文详细介绍了进程与线程的概念与对比,两者作用都为提高程序的执行效率。提示:以下是本篇文章正文内容,下面案例可供参考多任务介绍比如百度网盘的并行下载,操作系统都是多任务操作系统好处:利用cpu资源,提高程序执行效率两种表现形式:并发:在一段时间内交替去执行多个任务(任务数量>cpu的核心数)例子:多个任务交替执行,A0.01s->B0.
2021-03-11 23:46:15
133
原创 Linux学习笔记(1)-基本覆盖了ubuntu初学的所有命令/快捷键
Linux学习笔记(1)-基本覆盖了ubuntu初学的所有命令/快捷键1.Linux常用基础命令2.Linux常用基高级命令3.Vim介绍4.其他知识博主使用windows 10安装VMare虚拟机,ubuntu使用版本为18.04,仅供参考。因为笔者也是初学者,如有错误,欢迎大佬指正!1.Linux常用基础命令ls 显示当前路径下ia文件(夹)目录-l 以列表方式显示,默认字节-h 只能显示文件的大小-a 显示隐藏文件或者目录pwd 显示当前路径clear 清屏tre
2021-03-10 00:05:38
208
原创 《百度架构师手把手带你零基础实践深度学习》学习体会
《百度架构师手把手带你零基础实践深度学习》学习体会初次使用深度学习框架关于课程AI识虫竞赛感悟一些改进想法后续初次使用深度学习框架百度飞桨应该是国内首个开源开放、技术领先、功能完备的产业级深度学习平台,我也是首次接触类似的学习框架,有兴趣体验一下的小伙伴可以登录以下链接https://www.paddlepaddle.org.cn/关于课程如果想对机器学习和深度学习进行学习,我个人建议还是先补充基本的理论知识,可以在B站上搜索浙大的研究生机器学习课程,其次很多大佬的课程也都可以搜索到。之后可以在与飞
2020-08-29 09:50:59
270
原创 python学习笔记(1)- 利用SMPT 实现自动发送邮件脚本
python学习笔记(1)- 利用SMPT 实现自动发送邮件脚本,读取txt和excel邮箱列表起因涉及内容原理Python内置SMTP模块SMPT发送邮件流程发送纯文本参考程序如下:发送附件参考程序如下:读取txt和Excel中保存的邮箱信息最后程序,可实现单发与群发,更改正文名字起因学校正好组织夏令营,需要邮件通知参与夏令营的同学,报名信息中包含手机号和邮件(运营费问题,放弃了手机)。然后,有小伙伴提出python发送邮件的方式,参考了几篇博客之后,有了此文章。涉及内容python 读取txt文
2020-07-18 10:17:11
1237
原创 C++学习笔记(5) C语言与C++的区别
C++学习笔记(5) C语言与C++的区别两者关系:C++是C的一些扩充头文件命名空间输入输出iostream基本数据类型结构体强制类型转换条件运算符 ? :for循环作用域运算符 ::动态内存分配变量的引用&(important)内置函数内联带默认参数的函数函数的重载函数模板(参数化思想)两者关系:C++是C的一些扩充头文件C语言C++stido.h...
2020-04-11 17:15:30
308
原创 C++学习笔记(4)——运算符重载实现
C++学习笔记(4)——运算符重载实现上次回顾:拷贝构造运算符重载:运算符的本质:函数运算符重载的本质:如何定义(声明)运算符重载运算符重载的两种方式语法和规范练习运算符重载tips:题目:实现Mystring类的运算符重载 “+” ,字符串相连上次回顾:拷贝构造 用对象来构造对象引用:给内存段取别名拷贝构造参数必须是引用: 传参过程不会产生临时变量,没有值传递深拷贝: 开...
2020-04-05 19:41:00
316
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人