白景屹的博客

隐式神经渲染，特别是神经辐射场（NeRF），在场景的新视图合成中显示出巨大潜力。然而，当前基于NeRF的方法无法使用户在场景中执行用户控制的形状变形（user-controlled shape deformation）。虽然现有的工作已经提出了一些根据用户的约束（user’s constraints）修改辐射场的方法，但修改仅限于颜色编辑或对象的平移和旋转。在本文中，我们提出了一种方法，允许用户对场景的隐式表示执行可控的形状变形，并合成编辑后场景的新视图图像，并且无需重新训练Nerf。

在本文中，提出了一种新的端到端框架ARCH（服装人体的动画重建，Animatable Reconstruction of Clothed Humans），用于从单目图像精确重建可以动画的3D服装人体。现有的三维人体数字化方法难以处理姿势变化和细节恢复。此外，它们不会生成可动画的模型。相比之下，ARCH是一种可学习的姿势感知模型，可以从单个RGB图像生成详细的3D有衣着人体。...

通过COLMAP可以得到场景的稀疏重建结果，其输出文件包括相机内参，相机外参和3D点的信息，然后进一步利用LLFF开源代码中的imgs2poses文件将内外参整合到一个文件poses_boudns.npy中，假设该场景有。首先，我们在像素坐标下进行网格点采样，得到特定分辨率图像的各个像素点坐标。注意NeRF中所说的观察方向，严格来说，是相机连接某个像素的方向，因为我们要沿着这个方向去渲染得到像素的值。像素坐标到相机坐标的变换属于投影变换的逆变换，即2D点到3D的变化，即我们需要根据像素点的坐标。...

在视觉语言导航任务中，embodied agent遵循语言指令并导航到指定目标位置。它在许多实际场景中都很重要，并引起了计算机视觉和机器人领域的广泛关注。然而，现有的大多数工作仅使用RGB图像，而忽略了场景的三维语义信息。为此，我们开发了一种新的自监督训练框架，将体素级（voxel-level）三维语义重建编码为三维语义表示。具体而言，region query任务被设计为pretext任务，预测特定3D区域中特定类别的对象的存在或不存在。...

我们提出了一种端到端的深度学习架构，该架构从单个彩色图像生成三维形状（格式为triangularmesh，三角网格）。受深度神经网络性质的限制，以前的方法通常在体素或点云中表示三维形状，将其转换为更易于使用的mesh是非常重要的。与现有方法不同，我们的网络在GraphNN中表示三维网格，并通过逐步变形的椭球来生成正确的几何体（利用从输入图像中提取的特征）。我们采用从粗到精的策略，使整个变形过程稳定，并定义各种与网格相关的损失，以捕捉不同级别的特征，以确保重建高精度的三维几何体。httpshttps。....

Implicit Function 是一个用来表达物体表面的函数，其形式如：f(X)=0f(X)=0f(X)=0，其中，XXX表示空间中的任意一个点，比如想要表示空间中一个球心在原点，半径为rrr的球面，隐函数为：f(X)=x2+y2+z2−r2=0f(X)=x^{2}+y^{2}+z^{2}-r^{2}=0f(X)=x2+y2+z2−r2=0当X=(x,y,z)X=(x,y,z)X=(x,y,z)满足f(X)=0f(X)=0f(X)=0时，该点在球面上；当X=(x,y,z)X=(x,y,z)X=(x,y

数据采集时，如果采样频率不满足奈奎斯特采样定理，可能会导致采样后的信号存在混叠。当采样频率设置不合理时，即采样频率低于2倍的信号频率时，会导致原本的高频信号被采样成低频信号。如下图所示，红色信号是原始的高频信号，但是由于采样频率不满足采样定理的要求，导致实际采样点如图中蓝色实心点所示，将这些蓝色实际采样点连成曲线，可以明显地看出这是一个低频信号。对连续信号进行等时间采样时，如果采样频率不满足采样定理，采样后的信号频率就会发生混叠，也就是高频信号被混叠成了低频信号。对于图像，图像的高频信息即灰度变化陡峭的

渲染可以看作：将三维场景投影到像素图像。对于同一个三维场景，在不同视角下，渲染的结果是不同的。当固定在某个位置的相机或者人眼在看三维场景时，场景中的一些点是不在相机光线上的，我们描述这个点的位置可以使用场景下的绝对位置(x,y,z)(x,y,z)(x,y,z)，为了得到渲染的合理结果（该位置处相机的成像），还需要知道相机光线和该点的关系，比如观察方向(θ,φ)(θ,φ)(θ,φ)：比如上图人眼或相机固定，光线为黑色实线，点G与相机的关系即为(θ,ϕ)(\theta,\phi)(θ,ϕ)。场景中某个点的渲

低频信息指的是颜色缓慢变化，代表着连续渐变的一块区域，这部分为低频信息。对于一副图像来说，除去高频就是低频，也就是边缘以内的内容为低频，而边缘内的内容就是图像的大部分信息，即图像的大致概貌和轮廓，是图像的近似信息。反之，图像边缘的灰度值变化快，就对应着高频。图像的细节处也就是属于灰度值急剧变化的区域，正是因为灰度值的急剧变化，才会出现细节。另外对于噪声，在一个像素所在的位置，之所以是噪点，是因为它与正常的点颜色不一样了，也就是说该像素点灰度值明显不一样，所以是高频部分。通常，图像的低频是图像中对象的大致概况