weixin_53765004的博客

原创 相机坐标到世界坐标推导

在知乎看见的，忘记那个博主是哪个了，自己手动照着推了一下。

原创 wps中使用mathtype

然后安装VBA就好了。

原创 NeRF++论文理解

今天想起这篇论文，于是将之前做得笔记复制过来以后方便查看

原创 HexPlane: A Fast Representation for Dynamic Scenes一种动态场景的快速表示方法

动态三维场景的建模与再现是三维视觉领域的一个具有挑战性的课题。先前的方法基于 NERF 并依赖于隐式表示这是缓慢的，因为它需要许多 MLP 评估，限制真实世界的应用程序。我们展示了动态三维场景可以明确地表示为六个平面的学习功能，导致一个优雅的解决方案，我们称为Hex刨面。一个 Hex刨面通过融合从每个平面提取的向量来计算时空点的特征，这是非常有效的。通过微小的 MLP 配对一个 HexPlann 来回归输出颜色，并通过立体渲染进行训练。

原创 GNeRF代码复现

一般遇见代码路径等需要修改的时候，可以多尝试一下修改代码，费时点的话就需要理解一下运行脚本。

原创 HexPlane: A Fast Representation for Dynamic Scenes(总结图)

Hex刨包含六个特征平面，跨越每对坐标轴(例如 XY，ZT)。为了计算时空点的特征，它将从配对平面中提取的特征向量相乘，并将相乘的结果连接成一个向量，然后再乘以 VRF 得到最终的结果。使用微小 MLP 从点特征回归 RGB 颜色，并通过体绘制合成图像。通过渲染图像和目标图像之间的光度损失训练六平面和 MLP。用于动态三维场景的 Hex刨面。我们没有从深度 MLP 中回归颜色和不透明度，而是通过 HexPlann 显式地计算时空点的特征。配对一个微小的 MLP，它允许以上100倍加速匹配的质量。

原创 ERROR: No matching distribution found for torch==2.0.1+cu117（比手动下载方便）

【代码】ERROR: No matching distribution found for torch==2.0.1+cu117（比手动下载方便）

原创 HexPlane代码复现（十几分钟就复现成功的一篇论文代码！！！！！）

Installed /home/uriky/桌面/code/HexPlane-main Processing dependencies。‘/home/uriky/桌面/code/HexPlane-main/dnerf_slim.yaml’

原创 Aleth-NeRF: Illumination Adaptive NeRF with Concealing Field Assumption

Aleth-NeRF: 带有隐蔽场假设的照明自适应 NeRF 照明照明标准的神经辐射场(NeRF)范例采用了一种以观察者为中心的方法，将光照和材料反射的各个方面仅仅从3D 点发射纠缠在一起。这种简化的渲染方法在准确建模在不利光照条件下捕获的图像方面提出了挑战，如弱光或过度曝光。受到古希腊发射理论的启发，我们假设视知觉是由眼睛发出的光线造成的，我们稍微改进了传统的 NeRF 框架，以便在具有挑战性的光照条件下训练 NeRF，并在无监督的情况下生成正常光照条件下的新视图。

原创 复现Aleth-NeRF

由于把.path文件手动复制过去，报错可以忽略了，epoch2忘记截图了，运行。如果还报显存错再成倍减小batch_size,运行到一半又报错。出现新错误(猜测应该是杀死进程的时候把firfox杀死的原因)由于运行buu，目前改buu相关的batch_size就可以。直接自动进入epoch0 epoch2 epoch3了。依然报显存错，而且每次都是迭代到12500的时候报错。把前面的警告解决num_workers。重新把进程打开，杀死不必要的进程。将下载好的.pth手动复制过去。连接问题（该方法没用）

原创 vpn配置

原创 ubuntu在conda环境中使用 pip install -r requirements.txt但是没有安装在虚拟环境中

ubuntu在conda环境中使用pip install lpips==0.1.3但是安装在了这里。

原创 Ubuntu18.04解决有线网卡连接问题（不更新内核成功版）

Ubuntu18.04解决有线网卡连接问题（不更新内核成功版）

原创 18.04版本的ubuntu没有连接网络的图标(坑人版)

18.04版本的ubuntu没有连接网络的图标，都是坑阿！！！！！！！！！！

原创 用balenaEtcher烧录ubuntu的iso文件都失败，所以选用了另一种烧录的软件Rufus,然后烧录成功了+安装ubuntu的坑

https://releases.ubuntu.com/bionic/进入网页下载ubuntu选择烧录软件将下载的Ubuntu烧录到U盘中之前用这个U盘烧录过一次，成功了，后来应该是U盘受损或者是什么其他原因使得用这个U盘总是烧录失败

原创 复现NerfingMVS（更新中）

在CMake配置 指定 CMAKE_CUDA_ARCHITECTURES 为"本土"，如果你想要跑COLMAP你 当前的机器，“所有”/“所有主要的”，以便能够将其分发给其他机， 或者一个具体CUDA构，如"75"，等等。-M ‘/home/uriky/桌面/NerfingMVS-main/colmap/src/colmap/mvs/gpu_mat_prng.cu’-c ‘/home/uriky/桌面/NerfingMVS-main/colmap/c/colmap/mvs/gpu_mat_prng.cu’

原创 从github上复制代码，记录失败过程，最后放弃挣扎直接去github上手动下载了

从github中复制代码出现一下两种报错1、Failed to connect to github.com port 443: 连接超时2、Failed to connect to github.com port 443: 拒绝连接解决办法如下：https://www.ipaddress.com/github.com的IP地址为140.82.114.3终端打开hosts文件加入140.82.114.3 github.comsudo gedit /etc/hosts现在又报错：

原创 ubuntu下载zotero

在ubuntu中下载zotero

原创 NERF++:Analyzing and Improving Neural Radiance Fields神经辐射场的分析与改进

神经辐射场(NeRF)可以实现各种捕获设置的令人印象深刻的视图合成结果，包括360度捕获有界场景和前向捕获有界和无界场景。NeRF 将代表视图不变不透明度和视图相关颜色体积的多层感知器(MLPs)匹配到一组训练图像中，并基于立体渲染技术对新视图进行采样。在这份技术报告中，我们首先评论了辐射场及其潜在的模糊性，即形状-辐射模糊性，并分析了 NERF 在避免这种模糊性方面的成功。其次，我们解决了一个参数化问题，涉及到应用 NERF 到360度捕捉大规模，无界的3D 场景中的对象。

原创 Depth Map Prediction from a Single Image using a Multi-Scale Deep Network(基于多尺度深度网络的单幅图像深度图预测)

预测深度是理解场景三维几何形状的一个重要组成部分。对于立体图像的局部对应可以进行估计，但是要从单幅图像中找到深度关系就不那么容易了，需要综合来自各种线索的全局和局部信息。此外，这项任务本质上是模棱两可的，大量的不确定性来自整体规模。在本文中，我们提出了一种新的方法来解决这个问题，使用两个深层网络栈: 一个作出粗略的全局预测基于整个图像，另一个精化这个预测局部。我们还应用尺度不变误差来帮助测量深度关系，而不是尺度。

原创 NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo

在这项工作中，我们提出了一个新的多视图深度估计方法()，在最近提出的神经辐射场(NeRF)上利用传统的重建和基于学习的先验。与现有的基于神经网络的优化方法依赖估计不同，论文中的方法直接对隐式体积进行优化，消除了室内场景中像素匹配的困难步骤。我们的方法的关键是利用基于学习的先验来指导 NERF 的优化过程。该系统首先通过对COLMAP 算法的稀疏 SfM + MVS 重构进行调整，适应目标场景上的单目深度网络。然后，我们指出在室内环境中仍然存在形状-辐射模糊，并建议。

原创 深度研究DSNeRF代码（慢慢更新）

2.此部分的代码是从https://github.com/Fyusion/LLFF/tree/master?tab=readme-ov-file#1-recover-camera-poses里提取出来的模块，作用是：用于使用colmap生成npy文件poses_bounds.npy3.此py文件也是从https://github.com/Fyusion/LLFF/tree/master?tab=readme-ov-file#1-recover-camera-poses复制过来的4.此代码

原创 NeRFintheWild代码复现（要命这篇搞不下来）

1、创建虚拟环境并激活虚拟环境。

原创 DSNeRF复现流程

在深度图中，像素的灰度值表示物体距离相机的远近，灰度值越大，表示物体距离相机越远；.astype(np.uint8)是NumPy数组的一个方法，用于更改数组的数据类型。np.uint8是无符号8位整数类型，常用于表示图像的像素值（范围从0到255）。如果depth的原始数据类型不是np.uint8，这个操作会将其转换为np.uint8。找了半天没见这个depth然后打开github,https://github.com/dunbar12138/DSNeRF/issues/107,这个人说改一下这一行代码。

原创 Requirement already satisfied: torch＞=1.4.0 in /home/uriky/anaconda3/lib/python3.11/site-packages

pip -V。

原创 NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections

我们提出了一种基于学习的方法来合成新的视图的复杂场景使用只有非结构化的收集野生照片。我们建立在神经辐射场(neRF)的基础上，它使用多层感知机的权重来模拟场景的密度和颜色作为三维坐标的函数。虽然 NERF 能够很好地处理在受控环境下捕捉到的静态图像，但是它无法在不受控的图像中建模许多普遍存在的、真实的现象，例如可变光照或瞬态遮挡。我们引入了一系列的扩展，以解决这些问题，从而能够从互联网上采集的非结构化图像进行精确的重建。

原创 wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured using sparse monocular data

提出了一种新的神经辐射模型，该模型可以用自监督的方式进行训练，用于动态非结构化场景的新视角合成。我们的端到端可训练算法学习高度复杂，真实世界的静态场景在几秒钟内和动态场景与刚性和非刚性运动在几分钟内。通过区分静态像素和以运动为中心的像素，我们从稀疏的图像集合中创建高质量的表示。我们对现有的基准进行了广泛的定性和定量评估，并在具有挑战性的 NVIDIA 动态场景数据集上设置了最先进的性能测量方法。此外，我们评估我们的模型在具有挑战性的现实世界数据集，如胆固醇80和手术行动160的性能。

原创 防止过拟合现象笔记整理----正则化

正则化

原创 突发奇想做了个GARF思维图

总结：主要介绍了一种基于辐射场的生成模型，可以在不需要已知3D场景信息的情况下，生成具有高保真度和3D视角控制的图像。相比于现有的基于体素的方法，辐射场可以更好地解决图像分辨率低和视角信息混杂等问题。文章还提出了一个多尺度的判别器，可以有效地训练高分辨率的辐射场模型。

原创 GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis

虽然二维生成对抗网络能够实现高分辨率的图像合成，但是它们在很大程度上缺乏对三维世界和图像形成过程的理解。因此，他们不提供精确的控制相机的观点或对象的姿态。为了解决这个问题，最近的一些方法利用了中间基于体素的表示结合可微渲染。然而，现有的方法要么产生较低的图像分辨率，要么在相机和场景的分离属性方面存在不足，例如，物体的识别可能会因视点的不同而不同。在这篇文章中，我们提出了一个辐射场的生成模型，这个辐射场最近被证明是成功的，用于单个场景的新视图合成。

原创 GNeRF的一些具体细节

GNeRF，一个结合生成对抗网络(GAN)和神经辐射场(NeRF)重建的框架，用于未知甚至随机初始化相机姿态的复杂场景。最近基于 NERF 的进展已经获得了显着的现实新视图合成的普及。然而，大多数方法都严重依赖于摄像机姿态的精确估计，而目前很少有方法只能在摄像机轨迹相对较短的大致前向场景中对未知摄像机姿态进行优化，且需要对摄像机姿态进行粗略的初始化。与此不同的是，GNRF 仅在复杂的由外向内场景中使用随机初始化的姿势。我们提出了一个新的两阶段端到端的框架。

原创 代码测试图

原创 jupyter使用虚拟环境里的依赖配置

打开jupyter之后选择核OK了。

原创 Warning: you have pip-installed dependencies in your environment file, but you do not list pip

Warning: you have pip-installed dependencies in your environment file, but you do not list pip itself as one of your conda dependencies. Conda may not use the correct pip to install your packages, and they may end up in the wrong place. Please add an exp

原创 windows下已经创建好了虚拟环境，但是切换不了的解决方法

激活起作用然后再切换shellpath到powershell（这个应该没有先后）如果还是不行可以先后调换一下顺序。

原创 Depth-supervised NeRF: Fewer Views and Faster Training for Free 深度监督NeRF：更少的视图和更快的自由训练

一个潜在的原因是，标准的体绘制并没有强制场景的几何体由空白空间和不透明表面组成的约束。至关重要的是，SFM还产生稀疏的3D点，可以在训练期间用作“自由”深度监督：我们添加了一个损失，以鼓励射线的终止深度分布与给定的3D关键点相匹配，并包含深度不确定性。DS-NeRF可以提供更少的训练视图来渲染更好的图像然而训练速度还快2～3倍．此外，我们表明，我们的损失是兼容的其他最近提出的NeRF方法，表明深度是一个便宜的，容易消化的监督信号。然而，这样的模型产生的新的测试视图渲染差，基本上过拟合列车集。

原创 Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional (傅立叶特征使网络在低维域学习高频函数)

我们展示了通过一个简单的傅里叶特征映射传递输入点可以使多层感知机(MLP)学习低维问题域中的高频函数。这些结果揭示了计算机视觉和图形的最新进展，通过使用 MLP 来表示复杂的3D 对象和场景，实现了最先进的结果。使用来自神经切线核(NTK)文献的工具，我们表明，标准的 MLP 无论在理论上还是在实践中都无法学习高频。为了克服这种光谱偏差，我们使用傅里叶特征映射将有效的 NTK 转换成带宽可调的平稳核。

原创 Mip-NeRF 360 （无界抗混叠神经辐射场）论文阅读(更新中)

尽管神经辐射场(NeRF)已经在物体和小的有界空间区域上展示了令人印象深刻的视图合成结果，但是它们在“无界”场景中挣扎，在这些场景中，摄像机可以指向任何方向，内容可以存在于任何距离。在这种情况下，现有的NeRF类模型通常会产生模糊或低分辨率的渲染效果(由于附近和远处物体的细节和尺度不平衡) ，训练缓慢，并且可能由于从一小组图像重建大场景的任务的固有模糊性而展示伪影。我们提出了 mip-NeRF (一种处理采样和混叠的 NeRF 变体)的扩展，它。

原创 复现mipnerf360

看了下这代码是清华大佬写的。

原创 mipNeRF-pytorch版复现流程（更新中）

读readme看看安装的具体步骤。