AI论文学习：可变比特率的神经场Variable Bitrate Neural Fields

论文地址

https://arxiv.org/pdf/2206.07707.pdf

视频地址

有时候看一篇论文不如看视频解说理解的更容易，https://www.google.com/search?q=Variable+Bitrate+Neural+Fields&oq=Variable+Bitrate+Neural+Fields&aqs=chrome…69i57j0i512j69i61l2.350j0j7&sourceid=chrome&ie=UTF-8#fpstate=ive&vld=cid:28de53d3,vid:mBTpjHMe2mM

论文目的

这是一篇2022年SIGGRAPH的论文，研究是3D媒体和流媒体传输的问题，其目的想要找到一个类似图片的JPEG压缩方法实现3D内容压缩，得到高校的数据传输格式，论文用AI（神经网络）针对三维目标编码，实现了三维目标不同层的编码，每一层的细节精度不同（也就是不同分辨率的编码）。

论文研究基础

基础工作1：神经辐射场，用神经网络表示3D模型，给出坐标输出渲染图形。他有一个问题，渲染慢，慢的原因是因为他需要一个非常大的神经网络来查询点，需要庞大的计算。

基础工作2：为了解决计算量大的问题，现有的工作（NGLOD ）是将神经网络的参数移动到辅助的数据结构中（特征向量），特征网格将特征向量存储在空间数据结构中，空间坐标用于从网格中插入特征向量。（也就是说以前的输入左边5D信息直接生成渲染信息，现在先生成信息更多的特征向量，然后输入更小的神经网络。）适当的数据结构设计（这篇论文就是优化了这个数据结构），可以进行快速差值。特征网格方法有一个缺点：耗内存很大。

基础工作三：instant-NGP用了哈希编码，没有明确的将特征向量存储在网格上，而是根使用希函数把输入（xyz）空间坐标生成一个0码本大小的整数，这个整数用于索引到codebook，神经网络处理哈希冲突（如果一个key哈希后对应地址中已经存放了值了，这种情况我们叫做哈希冲突（Hash collisions）。 如果存在一个哈希函数，使得每一个输入都能对应到唯一的一个存储单元中（没有冲突），那么这样的哈希函数我们可以叫它完美哈希）,这个需要多分辨率的大量码本最小化哈希冲突（让每一个xyz都能有一个对应的值）），问题来了：码本越大，占用内存越大,

论文创新点

为了解决基础工作3的问题，整数（码本的索引）是不可能微分的，这个索引可以用二元向量表示，依旧不可微分，然后用连续浮点数的最大值表示，依然不可微，但是可以用softmax函数的梯度代替向后传递，使其可微，做可微索引学习。

论文结果

用小的码本且学习更小bitwidth（量化位宽），最后解码生成了更好的质量。用很少的特征向量恢复除了细节更多的3D模型。
用1点多PSNR的下降，但是内存却减少了100倍，此外还和一些传统算法做了对比。

论文扩展

论文还做了渐进式流式传输细节差别，传输大小随着LOD改变而改变

论文缺陷

1、对几何结构的恢复效果不是特别好，不稳定
2、由于对浮点数进行训练，训练时间时间长。