nerf 算法路线

一把年纪学编程

已于 2022-11-18 22:26:35 修改

阅读量551

点赞数

分类专栏：五文章标签： python

于 2022-11-04 10:31:21 首次发布

本文链接：https://blog.csdn.net/waterice0717/article/details/127684161

版权

五专栏收录该内容

12 篇文章 2 订阅

订阅专栏

└train

├─config：

├─llff_data_load ：--》input .npy[图片数目，3*5]；--》output ：images, poses, bds, render_poses, i_test

├─create_nerf() ：--》input args;--》output ：render_kwargs_train, render_kwargs_test, start, grad_vars, optimizer

└get_embedder():作用xyz+方向进行位置编码--》input输入xyz三维 ;-- output ：embed_fn, input_ch=63；是属于run_nerf_helps.py文件中的函数；包含了傅里叶变换torch.sin与cos

└class Embedder对应论文5.1；

└create_embedding_fn 2pi的那个公式；对应论文5.1升维度的公式；

├─class NERF模型初始化：--》input d深度w通道数，xyz通道数；--》output ：输出特征 alpha和rgb的最后层；

└forward xyz与视角分开---run_nerf_helps.py

├─load_weights_from_keras 核权重----run_nerf_helps.py

├─精细模型初始化refine 网络初始化

├─模型批量化处理数据

└run_network ：Prepares inputs and applies network 'fn'以更小的patch-netchunk送进网络跑前向--》inputnetchunk=1024*64；--》output

├─优化器optimizer（torch.optim.Adam）

├─# 训练需要的参数

create_nerf()输出--》output：render_kwargs_train, render_kwargs_test, start, grad_vars, optimizer

├─仅渲染

└render_path输入(render_poses, hwf, K, args.chunk, render_kwargs_test, gt_imgs=images, savedir=testsavedir, render_factor=args.render_factor) 输出rgbs

├─如果批量处理处理ray，则准备raybatch tensor

├─N_iters 最大迭代次数，开始迭代for iintrange(start,N_iters):

└get_rays输入：(H,W,K,torch.Tensor(pose)) #(H,W,3),(H,W,3) ---run_nerf_helps.py；旋转摄像方向从相机变为世界坐标系；将相机框架变为世界框架。

├─缩小成原始尺寸的1/2

├─render()：输入(H, W, K, chunk=args.chunk, rays=batch_rays,verbose=i < 10, retraw=True,**render_kwargs_train)输出--》output：rgb, disp, acc, extras 【函数中的是ret_list + [ret_dict]】

Args:

H: int. 图像高度

W: int. 宽度

focal: float. 针孔相机焦距

chunk: int. 同步处理的最大光线数

rays: array of shape [2, batch_size, 3]. 每个batch的ray的原点和方向

c2w: array of shape [3, 4].相机到世界的转换矩阵3x4

ndc: bool. If True, represent ray origin, direction in NDC coordinates.NDC坐标

near: float or array of shape [batch_size]. .光线最近距离

far: float or array of shape [batch_size]. 光线最远距离

use_viewdirs: bool. If True, use viewing direction of a point in space in model.使用view方向

c2w_staticcam: array of shape [3, 4]. If not None, use this transformation matrix for

camera while using other c2w argument for viewing directions.变换矩阵

Returns:

rgb_map: [batch_size, 3]. Predicted RGB values for rays.预测的rgb图

disp_map: [batch_size]. Disparity map. Inverse of depth.视差图

acc_map: [batch_size]. Accumulated opacity (alpha) along a ray.深度图

extras: dict with everything returned by render_rays().其它

确定rays_o, rays_d的值 = get_rays(H, W, K, c2w/c2w_staticcam)or rays;

变换形状，最后一位变为3位；

└batchify_rays() 在更小的batch上进行渲染，避免超出内存;--》input输入：(rays_flat, chunk=256*32, **kwargs)；输出--》output：all_ret全部结果拼接在一起

└render_rays()--》input输入：ray_batch,network_fn,network_query_fn,N_samples,retraw=False,lindisp=False,perturb=0.,N_importance=0,network_fine=None,white_bkgd=False,raw_noise_std=0.,verbose=False,pytest=False；输出--》output：ret