自动驾驶与三维重建
文章平均质量分 81
涉及SLAM、SFM、MVS等部分
人工智睿
代码是单纯的。
展开
-
NeuralRecon拜读:单目视频实时连贯三维重建
CVPR2021:NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular VideoCode:https://github.com/zju3dv/NeuralRecon传统基于深度图重建方法:基于TSDF的深度图融合方法:存在的问题:NeuralRecon的方案:这种设计允许网络在顺序重建曲面时捕获3D曲面的局部平滑度先验和全局形状先验,从而实现精确、一致和实时的曲面重建理论基础:Truncated Signed Distance原创 2022-06-29 01:50:44 · 2321 阅读 · 0 评论 -
SurroundDepth拜读:自监督环视多相机深度估计
CVPR2022:SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth EstimationCode:https://github.com/weiyithu/SurroundDepth论文提出了SurroundDepth,将来自多个周围视图的信息合并到一起,以预测摄像头之间的深度图,具体地说:解决痛点:一个深度估计网络一个位姿估计网络多目深度估计网络多目位姿估计网络Depth Net:shar原创 2022-06-28 00:02:49 · 1155 阅读 · 0 评论 -
综述拜读:3D Scene Geometry Estimation from 360◦ Imagery
论文:3D Scene Geometry Estimation from 360◦ Imagery:A survey首先叙述了spherical camera model 、 common acquisition technologies 和epresentation formats suitable for omnidirectional (also called 360◦, spherical or panoramic) images and videos。这部分在面向全方位视野(Omnidirecti原创 2022-06-22 12:50:00 · 409 阅读 · 0 评论 -
综述拜读:面向全方位视野(Omnidirectional Vision)的深度学习
基于深度学习的全视图图像视觉综述:Deep Learning for Omnidirectional Vision: A Survey and New Perspectives原创 2022-06-21 17:08:41 · 944 阅读 · 0 评论 -
OmniMVS拜读:End-to-End Learning for Omnidirectional Stereo Matching
多相机深度估计原创 2022-06-20 13:15:38 · 861 阅读 · 0 评论 -
使用openMVG+openMVS对自制数据集三维重建(单相机图片序列)
1 对于单个相机拍摄的图像序列很简单,将自己的图片放入一个文件夹,命令输入指向这个文件夹就好了:1.1 Sequential & Incremental SfM pipeline$ cd openMVG_Build/software/SfM/$ python SfM_SequentialPipeline.py [full path image directory] [resulting directory]$ python SfM_SequentialPipeline.py ~/home/原创 2022-05-31 17:04:58 · 5888 阅读 · 8 评论 -
论文拜读:大规模3D纹理重建Let There Be Color
论文题目:Let There Be Color! Large-Scale Texturing of 3D Reconstructions发表于ECCV-2014,第一个用于大规模真实3D重建的综合纹理框架相关的效率改进有:Efficient convex optimization-based texture mapping for large-scale 3D scene reconstruction(2021)挑战图像规模 image scale失焦模糊 (out-of-focus) b原创 2022-05-28 00:35:38 · 1553 阅读 · 3 评论 -
点云常见格式转换(pcd,txt,ply,obj,stl)
pcb转txt#include <iostream>#include <fstream>#include <pcl/io/pcd_io.h> int main(int argc, char *argv[]){ pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>); pcl::io::loadPCDFile("rabbit.pcd转载 2022-05-25 11:39:30 · 3536 阅读 · 1 评论 -
几个三维重建系统的总结与对比
现有系统:VisualSFM: A Visual Structure from Motion SystemMeshlab: the open source system for processing and editing 3D triangular meshes.Colmap: a general-purpose Structure-from-Motion (SfM) and Multi-View Stereo (MVS) pipeline with a graphical and command-原创 2022-05-25 11:29:38 · 699 阅读 · 0 评论 -
Colmap学习四:后端resection部分(后方交会,PnP、P3P、EPnp、Nakano P3P)
PnP、P3P算法已经相对比较成熟,影响最后结果的主要是点的分布是否均匀,需要寻找Best view selection。1 后方交会(resection)模块:位于初始化之后,三角化之前目的:恢复相机相对于世界坐标系的位姿算法:PnP (Perspective-n-Point) ,是3D到2D计算前提:有位姿的6个未知参数,需要至少3对点才能求出唯一解2 Best view selectionview的选择不但会影响pose估计的质量还会影响后续的三角化的精度和完整性SFM以往的选原创 2022-05-23 13:48:40 · 815 阅读 · 0 评论 -
文献拜读:基于凸优化的大规模三维重建场景纹理映射
论文:Efficient convex optimization-based texture mapping forlarge-scale 3D scene reconstruction必要性在给定的多个视图上创建的几何模型,如三维点云和三维三角网格,不足以实现高视觉真实性。为了获得如照片逼真的3D模型,还需要从多个视图中恢复纹理挑战如何为大规模3D场景创建具有高视觉质量的纹理仍然是一个挑战:由于摄像机标定和几何重建中不可避免的误差,恢复的纹理块可能无法在重建的三维网格上完全对齐。此外原创 2022-05-19 17:33:47 · 786 阅读 · 0 评论 -
Colmap学习三:后端Initialization部分(基础矩阵F、本质矩阵E和单应矩阵H)
1 寻找初始像对1.1手动选择ID1.2自动筛选①prior focal length存在情况下,开始筛选匹配点数由小到大排序第二张候选影像的匹配数目大于init_min_num_inliers(100)②两视图TriangulationR和t满足启动阈值2 基本矩阵FF矩阵的自由度=7从cv角度,3*3矩阵9个参数,因为up2scale自由度-1,又因为rank(F)=2自由度-1从摄影测量角度,5pose(确定射线位姿)+2 intrinsic(fx和fy,通常s=0,主原创 2022-05-19 15:24:27 · 870 阅读 · 0 评论 -
Colmap学习二:前端部分(特征点提取、匹配与剔除)
1 Colmap特征提取和描述colmap一般使用sift-gpu,涉及的知识:1.1 图像金字塔:DOG图像金字塔,再找极值1.2 SIFT特征检测与描述:确定主方向和128维的描述子,再归一化(消除光照的影响)。其中由于Euclidean distance 容易受较大值的影响,使用Hellinger distance更稳定。colmap先对sift的结果进行L1 normalize,再对每一个元素求平方根,得到的结果便是L2 normalized。在论文中给出了使用RootSIFT匹配的结果优原创 2022-05-18 17:42:50 · 6059 阅读 · 8 评论 -
Colmap学习一:基础知识(坐标系、相机模型、整体框架)
colmap坐标系:a. 左上角坐标是(0.5,0.5)为了双线性插值b. 坐标系方向xyz分别是红绿蓝、右下前c. colmap的pose是word2camera的,与slam常用的传感器sensor2world不同:– 点P,camera为Pc,则:Pc = RP+t– 而对于camera2world: P = RPc + C, C = -(R转置)td. world坐标系的原点是在第一帧,但未必是(0,0,0),由于BA的优化有偏差相对坐标是后一帧相对前一帧的坐标,绝对坐标是相原创 2022-05-18 10:26:43 · 6500 阅读 · 3 评论 -
Win10x64_VS2019搭建最新版openMVG+openMVS
VS2019 WIN10 配最新版(截止2022.5.16)踩了好多坑,最后总算成功了。建议有条件就换Linux或者Windows下的VS2017及以下版本(本人没条件,没条件整Linux系统,虚拟机不够用,VS2019上有好多之前的项目需要做)看到这里的朋友请好好想想自己是否必须要在windows下配,是否必须要用VS2019。如果真的非此环境不可,那就看看我的成功记录吧,希望能给你点灵感。有问题欢迎在评论区指出,说不定有我能跨过去的坑。总一.基于方案一环境的基础上二.单独git一份openMV原创 2022-05-16 23:40:24 · 2397 阅读 · 1 评论 -
Windows10_VS2019安装配置Colmap+OpenMVS 仍然失败版
1.安装好CMake本人下载的版本如下添加环境变量(用户和系统都添加):2.安装VS2019添加环境变量:D:\VS2019\VC\Tools\MSVC\14.26.28801\bin\Hostx64\x64的目的是配置cl.exe3.安装QT5(需要自己注册个账号,本人下的5.9.9)参考教程,添加环境变量:4.安装NVidia和CUDA不瞒你说,笔者作为985研究生,用的是锐龙处理器,没有显卡(实验室的工作站一直被博士师兄占用),所以这步省略。5.下载vcpkg(常用指令)g原创 2022-05-16 16:09:56 · 1890 阅读 · 6 评论 -
SLAM、SFM、MVG与MVS的区别和联系
看了许多与本人研究方向有关的论文,经常涉及到SLAM、SFM、MVG、MVS的范畴,这几个部分有很大的相似之处,但侧重点有所不同,所以根据目标所设计的策略有所不同。以下是本人的理解,如果有问题,欢迎在评论区指出、探讨。1.SLAM(Simultaneous Localization and Mapping),也称为CML (Concurrent Mapping and Localization)顾名思义,同步定位与建图,目的是让在未知的环境中的机器人(无人机、无人车等等)边走边确定自己的定位的同时描绘原创 2022-05-13 11:43:46 · 4387 阅读 · 2 评论 -
NeRF拜读:Representing Scenes as Neural Radiance Fields for View Synthesis
神经辐射场非显示地将一个复杂的静态场景用神经网络来建模。训练完成后,可以从任意视角渲染出清晰的场景图片。过程大量已知相机参数的图片作为输入通过输入训练MLP神经网络,隐式地学习静态3D场景利用模型输出任意角度的渲染图像由上述过程可知,NeRF由一系列2D输入学习3D场景,最后又通过3D模型输出2D图像。那么就有3个核心技术点:a.怎么用神经网络表示3D的?b.怎么再基于3D渲染出2D的?c.这个神经网络的具体训练过程是怎么样的?a.神经辐射场描述3D场景NeRF函数:输原创 2022-05-12 12:32:48 · 906 阅读 · 0 评论 -
MVSNet拜读:MVSNet: Depth Inference for Unstructured Multi-view Stereo
MVSNet出于2018年ECCV,有效应用于深度图估计(不过GPU消耗太大)。利用三维代价体:基于可微分的单应性变换的cost volume来回归像素的深度。过程:输入一张reference image(为主) 和几张source images(辅助)分别用网络提取出下采样四分之一的32通道的特征图;沿用双目立体匹配里提出的cost volume的概念,将几张source images的特征利用单应性变换( homography warping)转换到reference image,在转换的原创 2022-05-10 16:01:48 · 1064 阅读 · 0 评论 -
自动驾驶虚拟仿真平台、与MVS相关的一些问题
特斯拉的虚拟仿真系统用于系统的训练和验证。以往Training Data往往是对真实的传感器数据进行人工手动标注,或是改进的自动标注。现在,可以通过虚拟仿真平台进行了,相当于对孪生城市的标注。明明拥有许多的真实世界数据的Tesla,为什么依然需要虚拟仿真呢?模拟Corner Case,比如:小孩不顾交通规则突然冲进航行的车道,前面车辆突然刹车或侧翻,这些情况有可能发生于真实世界,但是有机会能够采集到的数据很少。而仿真则可以做到。模拟难以Label的情况,比如:连续多帧数百人在街头闲逛,密集穿越原创 2022-05-10 11:53:17 · 549 阅读 · 0 评论