sdw8855的博客

C2000 飞行平台能根据行业需求进行定制，挂载多光谱相机、轻型激光雷达等设备，为公安、消防、环保部门等提供监控摄像、消防巡逻、电力巡检、城市规划、突发事件监测、自然灾害评估等解决方案。基于极飞最新研发的最强大脑——SUPERX 4 智能控制系统，全新 P 系列农业无人机可搭配极飞睿喷、睿播和睿图系统，可应对各种复杂地形，实现全自主农田测绘、精准喷洒和智能播撒。进行喷洒作业前，可使用无人机测绘，获取高清农田地图和农田边界、障碍物等信息，精准规划飞行航线，确保植保作业的精准、高效进行。

Pangolin是一个基于OpenGL的轻量级开源绘图库，在许多开源SLAM算法（例如ORB-SLAM）中都会用来进行可视化操作。VisualSFM/Bundler(产生稀疏点云)+CMVS-PMVS(产生稠密点云)+MeshLab(查看点云成果)OpenGV是解决几何视觉问题的计算机视觉方法的集合。它由上海科技大学移动感知实验室主持和维护。MVE(稀疏+密集)+MeshLab(查看点云成果)

SBAS系统的工作原理大致相同。基于北斗星地增强、机器视觉、异构计算等技术，构建系统级低成本一体化解决方案，能实现多源传感器时空基准的架构统一和异构观测数据的智能融合，突破卫星导航信号易受遮挡与干扰的瓶颈问题，满足车辆、无人机、机器人、行人等载体在城市、楼宇、隧道、森林等复杂遮挡环境下的高精度、连续、可信定位需求。应用领域包括精准农业、智慧工地、智慧电力、智慧航空、智慧交通、智慧城市、安全监测和测量测绘、港口、公交、农业、物流、大众消费级等。高精度定位解决途径有三种：RTK、SBAS、PPP- RTK。

通过sim3变换解出当前关键帧和闭环候选帧的匹配MapPoint之间的旋转矩阵R、平移向量t、尺度变换s，也就得到了当前关键帧到闭环关键帧之间的sim3变换gScm。使用这个sim3变换gScm乘上闭环关键帧的sim3位姿gSmw，mg2oScw=gScm*gSmw的乘积mg2oScw就是当前关键帧的sim3位姿，之后在闭环校正中就可以使用这个sim3位姿转换为SE3位姿后对当前关键帧进行位姿校正。上理解：两组三维点，能构成6个方程，解6个未知数；在相似变换中，通过增加一个点，三个点构成三角形，通过。

若已知直线l上两点a(x1, y1), b(x2, y2), 则ab所在直线l的一个方向向量s = (x2-x1, y2-y1)。若已知直线l: ax + by + c = 0, 则直线l的方向向量 s = (-b, a) 或 (b, -a)。若已知直线l的斜率为k, 则l的一个方向向量为 s = (1, k)。

再三角化的目的是因为刚开始的时候，由于加入的数据较少，优化的准确性较差，所以在使用ba进行重投影时，会剔除掉比较多的三维点（中间可能会有很多误剔除的）。随着加入图像数量的慢慢增多，优化的结果越来越准确，就可以重新对前面的图像进行三角化（把误剔除的点加回来），然后再进行ba优化。因为在优化过程中，优化较多的是那些新加入的图像，其它的则仅仅是减小漂移。初始化主要是指选取两张匹配的图像，设定其中一张图像的位姿为单位阵，然后通过它们之间的匹配点对估计出E矩阵，将E矩阵分解获得另一张图像的位姿。

POINT3D_IDXYZRGBERROR157930.0646.073.3552735201.725TRACK[]as(IMAGE_ID7826667910该文件包含数据集中所有重建的 3D 点的信息，每个点使用一条线。其中 POINT2D_IDX 定义了 images.txt 文件中。

VSLAM中的特征点三角化特征点三角化（Triangulation）是根据特征点在多个相机下的投影恢复出特征点的3D坐标。特征点在某个相机中被观测到，根据相机位姿和观测向量可以得到3D空间中的一条从相机中心出发的观测“射线”，多个相机位姿观测会产生多条观测射线，理想情况下这些观测射线相交于空间中一点，求所有观测射线的交点就是特征点在3D空间的位置，这就是三角化最朴素的思想。通过三角测量（Triangulation）（或三角化）的方法来估计地图点的深度。

BA(bundle adjustment)指的是同时调整相机姿态和特征点位置，以便从每个特征点反射出的，通过最后都能通过相机光心。故也有人翻译为光束平差法。BA通常构建为一个最小二乘问题，通过使来同时调整相机的位姿和特征点的坐标。BA的目的就是每一个匹配好的特征点建立方程，然后联立，形成超定方程，解出最优的位姿矩阵或空间点坐标(两者可以同时优化)。

PMS算法不同于传统的局部算法，它不是直接估计视差，而是估计视差平面，而且利用patch match思想在无限多的视差平面中来推理出最优视差平面。因此它的两个最大的优点是：(1)能够直接计算亚像素视差；(2)能够处理倾斜表面和曲面，这是其他局部算法所不具备的。PMS算法的性能比较有限，虽然在middleburry上表现的确惊艳，但是在处理室外场景时鲁棒性不是特别好，特别是对于较高的图像噪声、大面积的弱纹理或重复纹理等(当然其他的算法也不能很好的处理)，其效果一般弱于SGM和ELAS等算法。

PnP、P3P算法已经相对比较成熟，影响最后结果的主要是点的分布是否均匀，需要寻找Best view selection。

但是它也会有其他的问题，比如在拍摄开始和拍摄结束，都拍摄的同一个物体，但由于误差累计，可能会重建出两个一模一样的（只是会有些偏差）。选择输出文件夹后，按顺序undistortion对每个图像去畸，Stereo（这一步耗时很长）三角测量计算每个像素的深度，Fusion将所有点云融合，这就可以得到稠密的点云了，MVS的内容也就结束了。但在实际操作过程中发现很多时候这种方式耗时长而且效果也不好，尤其是当场景很相似时会集中在一团，例如建筑的四个面都很像，这时匹配后会认为只拍到了一个面，其他三面都重建不出来。

此步骤逐渐增加视角，并进行迭代优化重投影误差，目的是计算不同视图的相机参数、得到场景的稀疏点云和确定不同视图与点云间的可视关系 最后可以得到场景的。如果相机围绕物体圆周采样，则匹配矩阵则会出现条带，各个条带平行关系越强，相机的运动控制越严格。带有畸变的图像会导致边缘有较大的时差估计误差，因此在深度图估计之前，使用光学一致性和几何一致性联合约束构造代价匹配。Colmap会利用光学一致性同时估计视角的深度值和法向量值，并利用几何一致性进行深度图优化。即可进行基于深度图融合的稠密重建。下的深度图和法向量图。

这两部分是可逆的，都是2D与2D直接的变换。而对于相机到图像，这是一个中心投影，由3D到2D的一个变换。相机位姿估计最终目标是获得表征相机运动的旋转矩阵R和平移向量t，可分成两种方法：一种是2D-2D估计加三角测量，另一种是3D-2D估计加3D-3D估计。目标点的3D位置与相机点的3D位置的相互关系所组成的homo矩阵。从目标的世界坐标系3D，转换到相机坐标系3D，然后转换到图像平面坐标系2D，最后转换到传感器坐标系2D。一般还包括了剪切和尺度的变换。目标到相机是外参，相机与图像平面，传感器平面，是内参。

COLMAP 是一种通用的运动结构 (SfM) 和多视图立体 (MVS) 管道，具有图形和命令行界面。它为有序和无序图像集合的重建提供了广泛的功能。该软件是在新的 BSD 许可下获得许可的。

SFM主要分为三类：增量式、分层式、全局式，其中最为流行的是增量式，但是目前在鲁棒性、精确度、完整性等方面还有待提高。需要对增量式SFM中三角化和BA等步骤进行了改进，这能够提高SFM的精确率和鲁棒性以及重建完整性。首先，SFM通常进行特征提取，然后匹配以及几何校验来滤出外点，经过前面的步骤就得到了场景图（scene graph），该场景图是后续增量式的基础，也就是提供数据关联等信息的作用。增量式重建中需要非常仔细挑选两帧进行重建，在图像进行注册之前，需要进行三角化场景点和滤出外点还得BA优化当前的模型。

BA优化：由于图像注册与三角化是分开进行的，但二者是强相关的两个过程：错误的位姿会导致错误的三角化点点产生，反之亦然。三角化的过程中使用了RANSAC，即从上述特征追踪中随机选择2个点(一对点)进行三角化，统计内点数(即，重投影误差小于阈值记为内点)，选择内点数最多的那个作为三角化点。根据未知的图像与地图中图像的2D-2D匹配，进而得到二者之间的2D-3D匹配，然后利用RANSAC-PNP解算出该相机位姿，完成图像注册。三角化：新注册的图像需要对已有的场景点有足够多的观测，同时也可以通过三角化扩展场景点。