- 博客(42)
- 收藏
- 关注
RSS订阅原创 注意力机制 究竟是什么？
在计算机科学和人工智能领域，特别是在深度学习和自然语言处理（NLP）中，（Attention Mechanism）是一种重要的技术，它使模型能够在处理信息时自动地聚焦于重要的部分。注意力机制受到人类注意力的启发，即我们在观察或处理信息时会集中注意力于某些关键部分，而忽略其他不太重要的信息。注意力机制最早在序列到序列（Seq2Seq）模型中被广泛使用，用于改善机器翻译、文本摘要、语音识别等任务的性能。
2024-02-20 16:40:22
488
原创 GNU工具
bash shell 由 GNU开发，被作为标准Unix shell的替代品。在Linux系统中，有许多种shell，而所有Linux发行版默认的shell都是bash shell。shell允许在命令提示符中输入程序的名称，它会将程序名称传递给内核以启动程序。，负责shell的交互部分，允许用户输入文本命令，然后解释命令并在内核中执行。GNU组织开发了一套完整的Unix实用工具，但是缺少用于支撑其运行的内核系统。Bourne shell 以其创建者得名。shell脚本：存放多个shell命令的文件。
2024-02-16 09:46:57
236
原创 Gaussian_Splatting 项目脚本指令
还有就是 gaussian_splatting的sibr，能编译好的可以编译，windows 中有提供了预编译的文件直接下载使用即可，这个sibr训练后就可以查看高斯泼溅的结果，算法所有过程的输出结果很抽象，最好还是用sibr查看，特别好用，但是编译过程还是比较麻烦，有时间我会更新以下：（这段内容都在高斯splatting的github里）-m 是输出目录，train的时候最好指定，它会自动生成目录，后面render和metrics过程都用train的-m输出目录即可。
2024-01-31 18:40:26
520
原创 NeRF - 神经辐射场 原理分析与解释
论文提出了一种方法，可以通过优化一个连续体积场景函数来合成复杂场景的新视角，这个函数使用了一组稀疏的输入视图。算法用一个全连接的（非卷积）深度网络来表示场景，输入是一个连续的5D坐标（空间位置和观看方向输出是体积密度和在该空间位置依赖视角的发射辐射度。通过查询5D坐标沿相机光线并使用经典体积渲染技术，将输出颜色和密度投影到图像中来合成视图。由于体积渲染自然是可微分的，优化表示只需要一组有已知相机姿态的图像。
2024-01-21 10:18:47
1351
原创 3D Gaussian Splatting：论文原理分析
提出了一种名为3D Gaussian Splatting的新方法，用于实时辐射场渲染，这种方法可以在只需要很少的优化时间的同时，实现与之前方法相当甚至更好的视觉质量。本文提出的3D Gaussian场景表示方法，结合了实时可微分渲染器，显著提高了场景优化和新视角合成的速度。实验表明，在与InstantNGP（Müller et al., 2022）相同的训练时间下，该方法可以达到相似的视觉质量，甚至在某些情况下超过了Mip-NeRF360（Barron et al., 2022）。
2024-01-19 22:18:13
2014
原创 Nerfstudio 框架介绍
Nerfstudio是一个为NeRF开发提供支持的Python框架。该框架的设计注重模块化，实时可视化开发，以及便于处理真实数据，使得NeRF方法的开发和实施变得更加简单。Nerfstudio通过提供一个整合的平台，使得研究人员和开发者能够更容易地合作和开发交互式3D场景。这个框架不仅适用于研究人员，也为工业界和非技术用户提供了使用NeRF的便利。由于它是开源的，因此可以推动由社区驱动的发展。
2023-12-27 19:36:10
1508
原创 有关未来人工智能的展望
很明显，改变计算机的硬件体系架构，无论从市场来看，还是从技术来看，都是困难重重的。因此，计算机的从业者在现有的硬件架构之上，构造了一套虚拟的软件来模拟流动着的数据。为什么会有这种期待呢？因为依赖存储器的计算机是如此的笨拙，而且，没有任何创造力可言。或者：创造一种先进的数据格式，得以让每一个存储单元能够表达更多的数据。它没有被说明，但这一要义将以经验的名称在每一次变革中驻留。即：真正的人工智能不需要低能的静态存储器。开发一种摆脱以存储器为核心的计算机的需要。物理的极限决定了摩尔定律的上限。
2023-12-24 21:47:39
441
原创 共享GPU内存，专用GPU内存，及 UMA统一内存架构
专用GPU内存是指安装在图形处理单元（GPU）上的内存。这种内存是专门为GPU设计的，通常是GDDR类型（如GDDR5、GDDR6），专为高速图形处理优化。
2023-12-21 20:53:28
3806
原创 MLX：苹果 专为统一内存架构（UMA） 设计的机器学习框架
熟悉的API：MLX具有与NumPy非常相似的Python API。MLX拥有像mlx.nn和mlx.optimizers这样的高级包，其API紧密跟随PyTorch，以简化构建更复杂的模型。MLX中的数组存在于共享内存中。统一内存架构 得益于 CPU 与 GPU 内存的共享，同时与 MacOS 和 M 芯片 交相辉映，在效率上，实现对其他框架的降维打击。动态图构建：MLX中的计算图是动态构建的。MLX是苹果硅片上机器学习的数组框架，由苹果机器学习研究团队带来。延迟计算：MLX中的计算是延迟的。
2023-12-16 22:15:26
713
原创 M2芯片回顾
M芯片， 一竟到底：M1芯片的体积：M2 代表 M 系列芯片的第二代：其进一步提升了芯片的性能和功率 ，这也是 M 芯片目前的追求：最大化性能的同时，最大限度降低功耗。UMA 统一内存架构被再一次提到，它是苹果Mac 软硬得以兼顾的核心。嗯，熟悉的配方：第二代5纳米制程工艺同时封装了200亿个晶体管：比 M1 多了 25%。（对这些数量没什么感觉，单纯列数字）结合晶体管数量和架构，内存控制器 - > 统一内存带宽： 大于 M1 ，提升50%。内存容量的扩展：24GB的统一内存。
2023-12-06 13:29:05
505
原创 回顾：M1芯片发布会
M1的问世 —— 基于ARM架构的统一内存访问（UMA）结构的系统级芯片（SoC），展现了苹果对计算机设计哲学的独特理解。与传统PC在GPU方面的造诣不同，Apple另辟蹊径这一决策大胆且醒目，是Apple杜绝NVIDIA显卡方面垄断的标志。”此后如竟没有火炬，我便是唯一的光”
2023-11-25 01:27:35
1163
原创 FENeRF环境配置
这个环境主要还是因为Github上并没有提供一个版本说明，只能按照requirements.txt中的库来配置，但是这些并不是环境所需的全部。在2023年11月份，如果按照顺序安装完所需的kornia库后，就会自动把torch的版本从1.8.1升级到2之上，这会导致环境的错误。然后尝试去运行代码。剩余免费次数: 10。
2023-11-21 13:54:45
111
原创 Hloc : From Coarse to Fine: Robust Hierarchical Localization at Large Scale
这篇论文讨论了视觉定位，这是许多应用如自动驾驶、移动机器人和增强现实中的基础技术。针对大规模环境中由于外观变化所导致的视觉定位难题，提出了一个基于单目全局卷积神经网络（CNN）的分层方法，该方法可以预测局部和全局特征。提出的分层定位策略首先使用全局匹配来定位大体位置，然后使用局部匹配来进一步精细化位置。这种方法既节省了时间又提高了实时操作性。实验表明，该方法在大规模变化的标准数据集上表现出了卓越的定位结果。
2023-10-26 16:10:28
840
原创 自由度在计算机视觉中的概念与理解
自由度（Degrees of Freedom，简称DoF）是一个用于描述物体在空间中移动和旋转能力的概念。它指的是一个物体或系统在没有受到任何限制时能够独立进行的运动方式的数量。例如，当我们谈论摄像机或机器人的6-DoF定位时，我们指的是它可以在三个平移方向和三个旋转方向上的所有可能的移动和旋转。这六个自由度允许摄像机或机器人在空间中的任何位置和任何方向进行定位。
2023-10-26 15:16:55
468
原创 SuperGlue: Learning Feature Matching with Graph Neural Networks
整体而言，第5部分的实验结果证明了SuperGlue在各种应用场景和条件下都有出色的性能，特别是与SIFT和SuperPoint结合使用时，其性能显著超越了其他现有的方法。这部分主要描述了SuperGlue模型的实现细节，包括其与其他特征检测器的结合方式、使用的视觉描述子、模型中的注意力机制、模型实现和训练的具体细节。：训练时，SuperPoint的检测和描述过程是即时完成的。：与传统的匹配启发式方法相比，SuperGlue提供了一个强大的神经模型，将所有启发式和后处理整合到一个统一的架构中。
2023-10-26 11:14:03
330
原创 SuperPoint: Self-Supervised Interest Point Detection and Description
在本文的自我监督方法中，(a)在合成数据上预先训练了一个初始的兴趣点检测器，并(b)使用了一个新的同态适应程序来自动标记来自未标记域的目标图像。 从一个由创建的合成数据集中获取了一些示例，称为“合成形状”。该合成数据集包括简单的几何形状，与合成数据集上的兴趣点位置无关。我们称这样训练得到的检测器为“MagicPoint” —— 它在合成数据集上显著地优于其他兴趣点检测器(参见Section 4)。MagicPoint在真实图像上的表现出奇的好，尤其是当与经典的兴趣点检测器相比。但是，由于图像纹理和模式的多样
2023-10-25 00:15:14
182
原创 Colmap论文之一：Pixelwise View Selection for Unstructured Multi-View Stereo
这项工作介绍了一个针对非结构化图像集合的Multi-View Stereo (MVS) 系统，主要用于鲁棒和高效的密集建模。深度和法线信息的联合估计使用光度和几何先验进行像素级视图选择同时进行细化和基于图像的深度与法线融合的多视角几何一致性项 经过大规模的互联网照片集合实验，表明这种方法在准确性、完整性和效率方面均达到了业界领先的水平。
2023-10-24 21:00:41
511
原创 Colmap论文之一：Structure-from-Motion Revisited
论文探讨了增量式结构从运动 (Incremental Structure-from-Motion, SFM) 这一在无序图像集合中进行3D重建的策略。现有的增量式SFM系统在健壮性、准确性、完整性和可扩展性等方面都取得了显著的进步。作者提出了一种新的SFM技术，旨在建立一个真正的通用流程。全面重建流程将向公众开放，具有开源实现。
2023-10-23 16:27:22
316
原创 3D Implicit Transporter for Temporally Consistent Keypoint Discovery
这篇论文讨论了基于关键点的表示在各种视觉和机器人任务中的优势。然而，现有的2D基于关键点表示在确保几何一致性时面临挑战。为了解决这个问题，作者介绍了一种新的方法，名为，它能够同时处理空间和时间信息。该方法不仅能够在3D数据上发现关键点，还能确保它们在时空上保持一致。此外，论文还展示了该方法在3D物体操作和演示学习中的高效性能。论文所提方法的源代码已经公开。论文开始强调了在时空输入中建立对应关系的重要性，这是人类视觉系统的一个标志。许多生物学家已经验证了这种能力，并在发展过程中分离不同的物体。此外，
2023-10-23 13:14:03
66
原创 iPhone相机raw模式拍摄下的dng图片格式转png，同时修复dng图片过暗的问题
【代码】iPhone相机raw模式拍摄下的dng图片格式转png，同时修复dng图片过暗的问题。
2023-10-07 15:42:02
774
1
原创 C++20 知识点整理
操作符：可以用于创建临时（此案例中）浮点值，可以将圆括号中的操作数total临时拷贝转换为尖括号中指定的double类型。上述语句执行时，会将字符流发送给标准输出流对象std:cout，它通常连接的是屏幕。标识符是由字母、数字和下划线( _ )组成的，不能以数字开头，区分大小写。：编译器只指导如何求所有操作数类型都一样的表达式，编译器会对选定的操作数执行一种成为。std::cout 指出我们要使用一个从属于std命名空间的名称cout。对象自然：在你学会创建自定义类之前，就能使用功能强大的对象进行编程。
2023-10-05 23:16:54
143
原创 基础矩阵、本质矩阵、单应矩阵
基础矩阵是一个 3×3 的秩为2的矩阵，用于描述两个不同视图（或称为图像）之间对应点的几何约束。更具体地说，如果你有两幅图像，分别从两个不同的相机或者相机位置拍摄，那么基础矩阵可以用于找到一个图像中的点在另一个图像中的对应点。本质矩阵也是一个 3×3 的秩为2的矩阵，与基础矩阵非常类似。当两个视图（图像）之间的场景是一个平面或者两个视图之间仅有旋转和平移时，可以使用单应矩阵来关联这两个视图。这三个矩阵都是在计算机视觉中广泛应用的基础工具，但它们适用于不同类型的视图和场景。给定两个图像中的一对对应点。
2023-09-16 22:24:46
628
1
原创 Python 装饰器思路梳理
Python 的装饰器是一种高级特性，用于修改或增强函数、方法或类的行为。装饰器本质上是一个接受函数对象作为参数，并返回一个新的函数对象的函数。
2023-09-14 17:12:57
34
1
原创 特征匹配与几何验证的关系
几何验证（Geometric Verification）和特征匹配（Feature Matching）都是图像处理和计算机视觉中用于图像识别和三维重建（如Structure-from-Motion, SfM）的重要步骤。
2023-09-14 10:31:43
253
1
原创 Colmap 论文之一：Structure-from-Motion Revisited
Colmap 论文之一：Structure-from-Motion Revisited
2023-09-06 15:01:07
112
1
原创 NeRF : Neural Radiance Fields
在NeRF中，Radiance也是通过神经网络模型来预测或估计的，它表示了在光线通过对应点时，对应点上的颜色或光照强度。Volume Densities（密度值）用于建模场景中的遮挡和透射关系，表示对应点的存在概率或光线的通过程度。它将每个图像中的像素点与场景中的空间点进行匹配，从而建立一个像素-空间点对的映射关系。通过学习输入图像中的视角、颜色和深度信息，NeRF可以估计场景中每个空间点的辐射强度。它表示了物体或场景在某个方向上发出的光的能量，通常用于描述光照模型中的光的属性。
2023-09-05 10:10:53
111
1
原创 DITTO-NeRF ：Diffusion-based Iterative Text To Omni-directional 3D model
DITTO-NeRF：一种从文本提示或单个图像生成高质量3D NeRF模型的新管道。 正面视图的给定 或者 文本 构建有限边界（IB）角度的高质量部分3D对象，然后使用隐扩散模型迭代重建剩余的3D NeRF。 一种渐进式3D重建方案。 引言： 简化输入源 单个图像 - > 3D：预训练CLIP 文本 - > 3D 过去的算法存在的问题：对应度低、3D输出不理想、生成的3D对象多样性低、计算复杂度高。 解决：基于扩散的迭代文本到全向3D模型DITTO-NeRF。
2023-09-05 10:10:20
85
1
原创 dpkg was interrupted, you must manually run ‘sudo dpkg --configure -a‘ to correct the problem.
如果你遇到了"dpkg被中断，你必须手动运行'sudo dpkg --configure -a'来修复问题"的消息，这意味着之前的软件包安装或更新被中途停止或中断了。这个命令将重新配置任何部分安装或未配置的软件包，并解决问题。确保使用' sudo'命令以root权限运行它。
2023-08-25 16:32:11
3553
1
原创 ACMMP（ACMH、ACMM、ACMP）多尺度几何一致性引导及平面先验辅助的多视图重建
真的找不到多少关于ACMMP这篇文章的博客，以此作为补充。
2023-08-15 14:57:36
843
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人