CSS360的博客

colmap 一系列琐碎知识积累

《Neural 3D Scene Reconstruction with the Manhattan-world Assumption》本文讨论了从多视图图像重建三维室内场景的挑战。以前的许多工作已经在纹理对象上重建出较好的结果，但它们仍然难以处理室内场景中常见的低纹理平面区域。解决这一问题的一种方法是在基于多视点立体的深度图估计中加入平面约束，但单视点平面估计和深度优化缺乏效率和多视点一致性。在这项工作中，我们证明了平面约束可以方便地集成到最近基于隐式神经表示的重建方法中。具体来说，我们使用MLP网络将

COLMAP 是具有图形和命令行界面的通用运动结构 (SfM) 和多视图立体 (MVS) 管道。 它为有序和无序图像集的重建提供了广泛功能。COLMAP适用于多个平台Linux、Windows、Max，并提供了对应的安装方法：http://colmap.github.io/install.html。基于图像的 3D 重建传统上首先使用 Structure-from-Motion 恢复场景的稀疏表示和输入图像的相机位姿。 然后，此输出用作 Multi-View Stereo 的输入，以恢复场景的密集表示.

《Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》由全连接神经网络参数化的神经图形基元的训练和评估成本较高。我们通过一种多功能的新输入编码来降低成本，该编码允许在不牺牲质量的情况下使用较小的网络，从而显著减少浮点和内存访问操作的数量：通过随机梯度下降优化值的可训练特征向量的多分辨率哈希表来扩充小型神经网络。多分辨率结构允许网络消除哈希冲突的歧义，从而形成一个简单的体系结构，在现代GPU上进行并行化非常简单。我们

《Urban Radiance Fields》这项工作的目标是从扫描平台捕获的数据中执行 3D 重建和新颖的视图合成，这些平台通常用于城市户外环境中的世界地图绘制（例如街景）。给定一系列由相机和扫描仪在户外场景中移动获得的 RGB 姿势图像和激光雷达扫描，我们生成了一个模型，可以从中提取 3D 表面并合成新的 RGB 图像。我们的方法扩展了神经辐射场，该方法已被证明可以在受控环境中为小场景合成逼真的新颖图像，以及利用异步捕获的激光雷达数据、解决捕获图像之间的曝光变化以及利用预测的图像分割来监督密度的新方法

《NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields》摘要：薄、反光的物体，如叉子和搅拌器在我们的日常生活中很常见，但它们对于机器人的感知尤其具有挑战性，因为使用 RGB-D 相机或多视图立体技术很难重建它们。虽然传统的方法对此类物体有困难，但神经辐射场 (NeRF) 最近已被证明在对具有薄结构或反射材料的物体进行视图合成方面非常有效。在本文中，我们探讨了将 NeRF 用作鲁棒机器人视觉系统的新监督

（1）首先需要注意的是，尽量不要在github上下载pycuda，因为文件存在损坏，需要在pypi上下载对应的pycuda。（2）重新编译流程按照文件中流程操作就行，但是在操作之前进入到root模式:sudo -E su -p(3)与OpenGL进行交互参考下面的链接，记住作者代码对于当前环境来说存在问题，需要修改tensor中.t()的格式http://www.land-of-kain.de/docs/python_opengl_cuda_opencl/https://documen.tician

《Point-NeRF: Point-based Neural Radiance Fields》《Point-NeRF：基于点的神经辐射场》像NeRF这样神经体渲染方法可以生成高质量的视图合成结果，但对每个场景都进行了优化，导致重建时间过长。另一方面，深度多视角立体方法可以通过直接网络推理快速重建场景几何体。Point-NeRF结合了这两种方法的优点，使用神经3D点云和相关的神经特征来模拟辐射场。在基于光线推进的渲染管道中，通过聚集场景表面附近的神经点特征，可以高效地进行渲染。此外，可以通过预先训练的深

《FILM: Frame Interpolation for Large Motion》《FILM: 大运动的帧插值》我们提出了一种帧插值算法，该算法从两幅中间运动较大的输入图像中合成多个中间帧。最近的方法使用多个网络来估计光流或深度，并使用一个专用于帧合成的独立网络。这通常很复杂，需要的光流或深度真值。在这项工作中，我们提出了一个单一的统一网络，其特点是多尺度特征抽取器在所有尺度上共享权重，并且可以仅从帧进行训练。为了合成清晰的帧，我们建议使用Gram矩阵损失来优化我们的网络，该损失度量特征映射之间的

《Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》《多分辨率哈希编码的即时神经图形Primitives 》先前的神经渲染，采用全连接的神经网络，训练和评估复杂度较高。作者通过一种**多功能的新输入编码来降低成本，这种编码允许在不牺牲质量的情况下使用更小的网络，因此，大大减少了浮点和内存访问操作的数量：**一个小型神经网络由一个可训练特征向量的多分辨率哈希表扩充，其值通过随机梯度下降进行优化。多分辨率结构允许网

课程目录pyhon00环境配置&HelloWorldpyhon01基本语法python02变量类型And多变量赋值python03标准数据类型（数字）python04标准数据类型（字符串）python05 列表python06 元组python07 字典python08运算符-算术运算符python09 运算符-比较（关系）运算符python10 运算符-赋值运算符python11 运算符-位运算符pytho...

COORDX：使用分裂MLP架构加速隐式神经表示COORDX ACCELERATING IMPLICIT NEURAL REPRESENTATION WITH A SPLIT MLP ARCHITECTURE最近，多层感知器（MLP）隐式神经表示在各种各样的任务中得到了突出的应用，例如新的视图合成、三维对象表示和渲染。然而，这些表示法的一个重大挑战是，使用MLP在大量输入坐标上进行训练和推理，以学习和表示图像、视频或3D对象，都需要大量计算，并且需要较长的处理时间。在这项工作中，我们的目标是通过提出一种

【OptiX】第1个示例 光线生成模块(RayGenerationProgram), 相机操作、添加三角网以及相交丢失模块(Miss Program)

base model第七弹：pytorch使用warm up、consine learning rate、label smooth、apex混合精度训练、梯度累加

《DD-NeRF: Double-Diffusion Neural Radiance Field as a Generalizable Implicit Body Representation》作者提出了 DD-NeRF，一种新颖的可泛化隐式场可实现任意输入视图下生成人体几何形状和外观。核心贡献是双重扩散机制，它利用了稀疏卷积神经网络构建两个体，来表示不同层次的人身体：粗糙的人体体积利用裸露的可变形网格提供大尺度几何指导，细节特征量从局部图像特征中学习复杂的几何形状。我们利用了Transformer来聚合

numpy格式 ：image.io （RGB） ，opencv（BGR）cv_img = v2.cvtColor(image_io_img , cv2.COLOR_RGB2BGR)image_io_img = v2.cvtColor(cv_img , cv2.COLOR_BGR2RGB)opencv 转 PIL.Imagepil_img = Image.fromarray(cv2.cvtColor(cv_img, cv2.COLOR_BGR2RGB))PIL.Image转opencvcv_

https://silverwind1982.pixnet.net/blog/post/153225557

背景对于从自动驾驶汽车到增强现实的应用，人工智能系统能够预测人们未来的行为非常重要。当有人在建造宜家梳妆台时，他们可能会发现自己想知道下一步是安装支腿还是抽屉。根据到目前为止所遵循的步骤，朋友可以帮助建议要添加的正确部分。但这种类型的预测对于 AI 来说是一项具有挑战性的任务，它既需要预测未来活动的多模态分布，又需要对过去行动的进展进行建模。为了应对这一重要挑战，我们利用 Transformer 架构的最新发展，尤其是在自然语言处理和图像建模方面，构建了预测视频转换器 (AVT)，这是一种基于端到端注意

torch.take(input, index)->Tensor返回一个新的张量，其中的元素是输入元素在给定的索引处，将输入张量视为视为一维张量。结果tensor的形状与索引相同。参数介绍：input：输入tensor。indices：索引接下来看用法：src = torch.tensor([[4, 3, 5], [6, 7, 8]])torch.take(src, torch.tensor([0, 2, 5]))tensor([ 4, 5,

深度学习框架可以帮助您处理上传的数据，来进行准确直观的预测分析。机器学习和深度学习的发展使组织能够为其客户提供智能解决方案和预测性个性化。深度学习框架是接口、库或工具，它们通常是开源的，即使是没有机器学习和人工智能知识的人也可以轻松集成。深度学习框架可以帮助您上传数据并训练深度学习模型，从而进行准确直观的预测分析。本文列出了 2021 年初学者的顶级深度学习框架。TensorFlowGoogle 的 Brain 团队开发了一个名为 TensorFlow 的深度学习框架，该框架支持 Python 和 R