![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CV
文章平均质量分 94
PLUS_WAVE
这个作者很懒,什么都没留下…
展开
-
4K4D: Real-Time 4D View Synthesis at 4K Resolution 学习笔记
它通过比较目标图像和生成图像在高层特征图上的差异来度量图像的相似性。在PyTorch中,我们可以使用预训练的神经网络(如VGG或ResNet)提取特征,然后计算特征图之间的差异。感知损失通过比较生成图像和真实图像在VGG16网络中提取的图像特征之间的差异来度量图像之间的感知差异。整个密度加权过程是可微分的,这意味着可以通过反向传播来更新点云的属性,以最小化渲染图像和真实图像之间的差异。将生成的掩模与真实的掩模进行比较,以限制动态区域的几何形状,确保其与真实场景中的可视外壳一致。是2D动态区域的真实掩模。原创 2024-09-07 11:12:32 · 1071 阅读 · 0 评论 -
NeRF学习——复现训练中的问题记录
1.1 DataLoader 的多进程 pickle在刚开始执行时就遇到了这个错误,开始以为是环境问题,结果鼓捣半天没用,仔细分析了一下错误原因,发现主要是这句话的原因for iteration, batch in enumerate(data_loader):1也就是序列化的问题,后面还给出了多进程的报错,就应该是多进程的pickle问题,网上一搜,还真是,可能是Windows系统的原因导致的,在 configs 中的配置文件中修改 num_workers = 0,不使用多进程,就解决了报错原创 2024-08-03 10:54:46 · 1253 阅读 · 0 评论 -
NeRF学习——基于Pytorch代码复现的笔记
NeRF学习——基于Pytorch代码复现的笔记代码复现的框架是基于:pengsida 的 [Learning NeRF]源代码框架是基于 Linux 的,我在 Windows 上进行复现有些许 bug,Windows 上 bug 修复的框架版本:Learning NeRF希望各位可以通过学习 [NeRF-Pytorch] 来自己复现试试看!原创 2024-08-03 10:21:25 · 732 阅读 · 0 评论 -
详细解析Barlow Twins:自监督学习中的创新方法
首先先简单了解一下机器学习中,主要有三种学习范式:监督学习、无监督学习和自监督学习:- **监督学习**:依赖带标签的数据,通过输入输出映射关系进行训练。- **无监督学习**:不依赖标签,关注数据的内在结构和模式。- **自监督学习**:利用数据本身生成标签,通过预训练任务学习有效的特征表示。## Barlow TwinsBarlow Twins是一种基于信息论的**自监督学习方法**,其目标是减少神经元之间的冗余。该方法要求神经元对数据增强具有不变性,但彼此独立。原创 2024-05-30 21:43:43 · 898 阅读 · 0 评论 -
Recognition:基于HoG特征的最近邻分类器与SVM的人物检测器
使用经典图像处理的方法开发简单人物检测器,其大致步骤如下:获取正样本训练数据,即包含人的图像块。获取负样本训练数据,即不包含(完整)人的图像块。提取方向梯度直方图(HoG)特征,以获取比原始像素值更稳健的图像描述符。使用这些训练数据训练我们选择的分类器。使用一个简单的最近邻搜索或支持向量机。使用滑动窗口方法从我们的验证图像中提取图像块和HoG特征,并在每个图像块上评估分类器,以便在验证图像中检测出人。原创 2024-05-24 10:40:44 · 1037 阅读 · 0 评论 -
隐式3D形状表示:Occupancy Networks
OccNet 的关键思想是,而不是显式地表示。与直接编码形状几何信息不同,OccNet 将形状的表面建模为非线性分类器的。:Occupancy Networks 将 3D 形状表示为非线性分类器函数的决策边界fθR3×X→01这里,X 表示输入空间(例如,体素网格或点云),函数在给定点的输出表示该点的是否占用(,下图中即红色在内部,蓝色在外部)原创 2024-05-08 15:43:44 · 816 阅读 · 0 评论 -
光度立体法估计法线与反射率重建场景
这个问题假设光照条件已知,目标表面是光滑且均匀的,并且照明是单向的。在相同的相机视点下,采集 K 张图像,每张图像使用不同的已知点光源。这些光源的位置和方向应该是已知的,并且在不同的图像中有所变化。因此,在梯度空间表示法中,我们可以通过结合反射率图和其他几何信息来有效地参数化法线,并利用这些信息来推断物体表面的形状和材质。通过如下的反射率图可以看到,对于每个像素,我们必须要有3个反射率图才能确定一个真正的法线,所以,我们。其接受灯光位置、像素法线、反射率和掩码作为输入,并返回重新照亮后的图像。原创 2024-04-26 21:47:55 · 1320 阅读 · 0 评论 -
马尔可夫随机场MRF与置信度传播BP(附例子讲解)
马尔可夫随机场(Markov Random Field,MRF),是概率无向图模型的一种,用于描述变量之间的关系,其中变量之间的连接是无向的。团块是图中结点的子集,其中子集中的节点两两之间都直接连接,而最大团块则是不能再添加其他节点而保持两两连接的最大子集。消息传递的核心是通过计算变量之间的乘积来更新消息,并选择这个乘积中的最大值作为传递的消息,从而。输出MAP估计值,即对每个变量边缘概率最大的所对应的状态(每个时刻最可能的车道),用于存储每一个变量的MAP(即对于每一个时刻,最可能选择的车道)原创 2024-03-30 16:36:18 · 1044 阅读 · 0 评论 -
SAD法(附python实现)和Siamese神经网络计算图像的视差图
原理:是在给定窗口大小的情况下,对左图像和右图像的对应窗口进行比较,计算它们之间的绝对差的总和,从而确定最佳匹配的视差。利用图像卷积的思想,通过对每个候选视差值计算绝对差图像,并将其与一个均值滤波器进行卷积操作来实现视差图的计算。视差图:以左视图视差图为例,在像素位置p的视差值等于该像素在右图上的匹配点的列坐标减去其在左图上的列坐标。局部窗口匹配:块匹配方法通常只考虑局部窗口内的像素信息进行匹配,而对于同质区域,局部窗口内的。计算左图像窗口和右图像匹配窗口的绝对差的总和,即SAD值。原创 2024-03-30 16:34:57 · 1437 阅读 · 1 评论 -
NeRF学习——NeRF-Pytorch的源码解读
学习 github 上 NeRF 的 pytorch 实现项目(https://github.com/yenchenlin/nerf-pytorch)的一些笔记原创 2024-03-16 21:45:46 · 1804 阅读 · 0 评论 -
SfM——八点法计算F矩阵(基础矩阵)与三角测量
**基础矩阵**用于描述两个视图之间的几何关系1. 基础矩阵:基础矩阵 $F$ 是描述两个视图之间相机投影关系的矩阵。对于两个对应的图像坐标点 $(x, y, 1)$ 和 $(u, v, 1)$ 在两个视图上,基础矩阵满足以下方程:原创 2024-03-15 17:22:00 · 1659 阅读 · 0 评论 -
DLT算法求解单应性矩阵
单应性矩阵描述了两个图像之间的投影变换关系,即从一张图到另一张图的变换。原创 2024-03-13 15:31:55 · 1358 阅读 · 0 评论 -
NeRF学习——NeRF初步认识
这种表示方式与传统的使用体素、网格或点云的显式表示不同,NeRF将整个场景看作一个连续的函数,即Radiance Fields。在训练阶段,NeRF使用已知场景的图像和相机参数作为输入,通过最小化生成图像与真实图像之间的差异来优化神经网络的参数。的问题(稀疏的地方采样多了,稠密的地方采样少了),所以针对某些粒子浓稠区域(表示遇到实体了),信息量大,需要重点采样。体积渲染:应用体积渲染过程,使用从粗网络和精网络获得的样本渲染每个射线的颜色。这样一来,神经网络便可以在信息量大的区域获得更有效,更正确的信息。原创 2024-03-09 21:28:20 · 1105 阅读 · 0 评论 -
Three.js+pcl.js 实现Web端的点云处理+显示【附源码】
在前面我们实现了PCD的加载器的基础上,这次将加上 ==**pcl.js**== —— 著名的PCL库的web版本,详情见https://pcl.js.org/,来处理我们加载上去的点云。1. **点云过滤示例1:**统计离群值移除算法2. **点云关键点提取示例2:**应用 ISS(Intrinsic Shape Signatures) 算法进行关键点提取**最小切割示例3:**最小切割算法原创 2023-12-10 09:35:23 · 4682 阅读 · 1 评论 -
Three.js 实现简单的PCD加载器(可从本地读取pcd文件)【附源码】
- 初始会显示我们之前 SfM 做出的点云,包括相机位置- 可以点击右上角**加载你本地的PCD**文件- 可以通过选择**多个文件加载多个点云**并显示在同一场景中- 可以通过左上角的**控制界面**查看/调整点云的属性,如点大小、颜色等- 可以通过右上角的控制界面选择旋转 / **显示点云颜色**(只有有颜色数据的PCD点云在开启该选项后会显示原本的颜色,其他的会消失)- 窗口大小变化时,渲染器和相机会自动适应新的窗口尺寸原创 2023-11-10 17:19:48 · 2113 阅读 · 15 评论 -
4 OpenCV实现多目三维重建(多张图片增量式生成稀疏点云)【附源码】
源码即上面给出的 Include.h,Constructor.h,Constructor.cpp,Image.h,Image.cpp,main.cpp增量加图前(两张初始图的构建):注意目前只是完成了基本流程,有很多地方都需要优化,比如SIFT的参数设置RANSAC的参数设置初始图片的选择(很重要)还可以增加其他优化措施来剔除离谱点最重要的BA还没有加入!目前,出来的效果不好,革命尚未成功,同志还需努力!😭😭😭。原创 2023-10-20 20:21:25 · 3156 阅读 · 4 评论 -
3 OpenCV两张图片实现稀疏点云的生成
在 PLY 文件的头部信息中,指定了点的数量以及点的属性,包括点的坐标和颜色通道(蓝色、绿色、红色)然后,你循环遍历点云数据,将点的坐标和颜色信息写入PLY文件。对于每对匹配的特征点,可以使用三角法来计算它们的三维坐标;手动输出点云 PLY 文件,并包括了 PLY 文件的头部信息以及点云数据的写入;使用了内点(inliers)的坐标从图像中提取了颜色信息,然后将颜色信息与三维点坐标关联起来,生成了带有颜色的稀疏点云。其接受本质矩阵 E 、特征点的对应关系、相机的内参信息以及输出的相对旋转矩阵。原创 2023-09-25 09:14:59 · 2393 阅读 · 2 评论 -
2 OpenCV实现的F矩阵+RANSAC原理与实践
RANSAC 的缺点是计算这些参数所需的时间没有上限,其需要进行大量的随机采样和模型拟合,因此对于大规模数据集来说,计算复杂度较高,可能需要较长的时间来运行。RANSAC 的主要思想是随机采样数据点,用这些采样点拟合一个模型,然后计算其他数据点到这个模型的拟合误差;根据误差和阈值,将数据点分为。如果内点的数量达到了某个设定的阈值,且模型参数的估计是合理的(例如,模型的拟合误差小于一定阈值),则认为找到了一个满足条件的模型。计算所有数据点到模型的拟合误差,并将与模型拟合误差小于某个阈值的数据点标记为内点。原创 2023-09-20 09:24:16 · 697 阅读 · 0 评论 -
1 基于SIFT图像特征识别的匹配方法比较与实现
BFMatcher将尝试所有可能性,这种匹配算法非常慢,匹配所需的时间随着添加的特征数量线性增加,这导致更高的计算成本,所以尤其是对于大型数据集BFMatcher是一种简单但不一定是最有效的匹配方法FLANN 在牺牲一些精度的情况下,提供了更快的搜索速度,特别是在高维空间或大型数据集中准确度BF 匹配器:BF 匹配提供精确的最近邻搜索,这意味着它可以高精度地找到最接近的匹配项;它适用于精度至关重要的任务,例如某些图像识别或对象跟踪任务。原创 2023-09-10 17:25:35 · 878 阅读 · 0 评论