- 博客(87)
- 资源 (4)
- 收藏
- 关注
原创 航测软件和建模软件介绍
原名 Smart3D,是摄影测量软件开发商 Acute3D 的主打产品,后来 Acute3D 被 Bentley 公司收购,更名为 ContextCapture。2011 年从 EPFL(瑞士洛桑联邦理工学院)计算机视觉实验室起家,凭借着坚实的技术将业务拓展到法国、美国和中国,并分别成立办事处。一家致力于为无人机提供软件解决方案的创业公司,位于旧金山,在其 B 轮融资中,融资规模达 2000 万美元。一家无人机数据采集公司,位于旧金山,在其 B 轮融资中,融资规模达 2200 万美元。
2023-04-13 11:04:23
1803
1
原创 雷达(Radar)
并能实时检测到具有低无线电波反射率的物体 (标志,树木等);Radar的无线电波比Lidar的激光波长,其返回的物体图像不如Lidar精确,但它覆盖远距离、具有强穿透性,可在雨,雪,尘土等恶劣环境中返回信息,在夜间和阴天比Lidar更准确。无源相控阵雷达(英语:Passive Phased Array Radar,有源相控阵雷达(英语:Active Phased Array Radar,radar即有源电子扫描阵列雷达的一种。anging,无线电的探测和测量。radar即无源电子扫描阵列。
2023-01-11 14:55:18
1403
原创 无人机测绘
C2000 飞行平台能根据行业需求进行定制,挂载多光谱相机、轻型激光雷达等设备,为公安、消防、环保部门等提供监控摄像、消防巡逻、电力巡检、城市规划、突发事件监测、自然灾害评估等解决方案。基于极飞最新研发的最强大脑——SUPERX 4 智能控制系统,全新 P 系列农业无人机可搭配极飞睿喷、睿播和睿图系统,可应对各种复杂地形,实现全自主农田测绘、精准喷洒和智能播撒。进行喷洒作业前,可使用无人机测绘,获取高清农田地图和农田边界、障碍物等信息,精准规划飞行航线,确保植保作业的精准、高效进行。
2022-12-20 09:56:13
785
原创 数字孪生介绍
数字孪生在对物理空间3D可视化、BIM、无人机测绘地形数据时,融合物联网、传感器、定位、社交内容等动态数据,采用游戏级引擎的渲染和现实增强,让构建的数字空间具有高保真、高聚合的特性,既可以对现实世界完成映射,还可以对现实空间进行全息透视,应用在智慧工厂与城市管理场景时,实现模拟与耦合事件,以多个维度进行数字化监测与管理,让产业数字化转型再进一步。数字孪生是以精确映射物理世界中的事件与设备为底层框架,小到工厂,大到城市管理,一切基于客观的动态数据与人工智能分析,进一步模拟和分析,以辅助管理者精准决策。
2022-12-14 16:38:08
311
原创 三维重建-第三方库介绍
Pangolin是一个基于OpenGL的轻量级开源绘图库,在许多开源SLAM算法(例如ORB-SLAM)中都会用来进行可视化操作。VisualSFM/Bundler(产生稀疏点云)+CMVS-PMVS(产生稠密点云)+MeshLab(查看点云成果)OpenGV是解决几何视觉问题的计算机视觉方法的集合。它由上海科技大学移动感知实验室主持和维护。MVE(稀疏+密集)+MeshLab(查看点云成果)
2022-12-02 13:11:32
1210
原创 高精度定位
SBAS系统的工作原理大致相同。基于北斗星地增强、机器视觉、异构计算等技术,构建系统级低成本一体化解决方案,能实现多源传感器时空基准的架构统一和异构观测数据的智能融合,突破卫星导航信号易受遮挡与干扰的瓶颈问题,满足车辆、无人机、机器人、行人等载体在城市、楼宇、隧道、森林等复杂遮挡环境下的高精度、连续、可信定位需求。应用领域包括精准农业、智慧工地、智慧电力、智慧航空、智慧交通、智慧城市、安全监测和测量测绘、港口、公交、农业、物流、大众消费级等。高精度定位解决途径有三种:RTK、SBAS、PPP- RTK。
2022-11-28 15:27:46
796
原创 Sim3相似变换
通过sim3变换解出当前关键帧和闭环候选帧的匹配MapPoint之间的旋转矩阵R、平移向量t、尺度变换s,也就得到了当前关键帧到闭环关键帧之间的sim3变换gScm。使用这个sim3变换gScm乘上闭环关键帧的sim3位姿gSmw,mg2oScw=gScm*gSmw的乘积mg2oScw就是当前关键帧的sim3位姿,之后在闭环校正中就可以使用这个sim3位姿转换为SE3位姿后对当前关键帧进行位姿校正。上理解:两组三维点,能构成6个方程,解6个未知数;在相似变换中,通过增加一个点,三个点构成三角形,通过。
2022-11-10 13:21:35
2046
1
原创 空间直线与平面的交点
若已知直线l上两点a(x1, y1), b(x2, y2), 则ab所在直线l的一个方向向量s = (x2-x1, y2-y1)。若已知直线l: ax + by + c = 0, 则直线l的方向向量 s = (-b, a) 或 (b, -a)。若已知直线l的斜率为k, 则l的一个方向向量为 s = (1, k)。
2022-11-04 10:55:02
3688
原创 SfM详细流程介绍
再三角化的目的是因为刚开始的时候,由于加入的数据较少,优化的准确性较差,所以在使用ba进行重投影时,会剔除掉比较多的三维点(中间可能会有很多误剔除的)。随着加入图像数量的慢慢增多,优化的结果越来越准确,就可以重新对前面的图像进行三角化(把误剔除的点加回来),然后再进行ba优化。因为在优化过程中,优化较多的是那些新加入的图像,其它的则仅仅是减小漂移。初始化主要是指选取两张匹配的图像,设定其中一张图像的位姿为单位阵,然后通过它们之间的匹配点对估计出E矩阵,将E矩阵分解获得另一张图像的位姿。
2022-10-27 20:01:01
1004
原创 colmap-sparse重建
POINT3D_IDXYZRGBERROR157930.0646.073.3552735201.725TRACK[]as(IMAGE_ID7826667910该文件包含数据集中所有重建的 3D 点的信息,每个点使用一条线。其中 POINT2D_IDX 定义了 images.txt 文件中。
2022-10-24 09:10:49
1098
原创 Colmap-重三角化
VSLAM中的特征点三角化特征点三角化(Triangulation)是根据特征点在多个相机下的投影恢复出特征点的3D坐标。特征点在某个相机中被观测到,根据相机位姿和观测向量可以得到3D空间中的一条从相机中心出发的观测“射线”,多个相机位姿观测会产生多条观测射线,理想情况下这些观测射线相交于空间中一点,求所有观测射线的交点就是特征点在3D空间的位置,这就是三角化最朴素的思想。通过三角测量(Triangulation)(或三角化)的方法来估计地图点的深度。
2022-10-08 13:46:46
581
原创 浅谈PNP的BA
BA(bundle adjustment)指的是同时调整相机姿态和特征点位置,以便从每个特征点反射出的,通过最后都能通过相机光心。故也有人翻译为光束平差法。BA通常构建为一个最小二乘问题,通过使来同时调整相机的位姿和特征点的坐标。BA的目的就是每一个匹配好的特征点建立方程,然后联立,形成超定方程,解出最优的位姿矩阵或空间点坐标(两者可以同时优化)。
2022-10-08 10:58:50
992
原创 双目立体匹配算法:Patch Match Stereo详解
PMS算法不同于传统的局部算法,它不是直接估计视差,而是估计视差平面,而且利用patch match思想在无限多的视差平面中来推理出最优视差平面。因此它的两个最大的优点是:(1)能够直接计算亚像素视差;(2)能够处理倾斜表面和曲面,这是其他局部算法所不具备的。PMS算法的性能比较有限,虽然在middleburry上表现的确惊艳,但是在处理室外场景时鲁棒性不是特别好,特别是对于较高的图像噪声、大面积的弱纹理或重复纹理等(当然其他的算法也不能很好的处理),其效果一般弱于SGM和ELAS等算法。
2022-09-29 14:47:20
1382
原创 后端resection部分(后方交会,PnP、P3P、EPnp、Nakano P3P)
PnP、P3P算法已经相对比较成熟,影响最后结果的主要是点的分布是否均匀,需要寻找Best view selection。
2022-09-29 14:29:23
589
原创 colmap-特征匹配、稠密重建
但是它也会有其他的问题,比如在拍摄开始和拍摄结束,都拍摄的同一个物体,但由于误差累计,可能会重建出两个一模一样的(只是会有些偏差)。选择输出文件夹后,按顺序undistortion对每个图像去畸,Stereo(这一步耗时很长)三角测量计算每个像素的深度,Fusion将所有点云融合,这就可以得到稠密的点云了,MVS的内容也就结束了。但在实际操作过程中发现很多时候这种方式耗时长而且效果也不好,尤其是当场景很相似时会集中在一团,例如建筑的四个面都很像,这时匹配后会认为只拍到了一个面,其他三面都重建不出来。
2022-09-25 17:55:31
1371
原创 Colmap算法pipeline
此步骤逐渐增加视角,并进行迭代优化重投影误差,目的是计算不同视图的相机参数、得到场景的稀疏点云和确定不同视图与点云间的可视关系 最后可以得到场景的。如果相机围绕物体圆周采样,则匹配矩阵则会出现条带,各个条带平行关系越强,相机的运动控制越严格。带有畸变的图像会导致边缘有较大的时差估计误差,因此在深度图估计之前,使用光学一致性和几何一致性联合约束构造代价匹配。Colmap会利用光学一致性同时估计视角的深度值和法向量值,并利用几何一致性进行深度图优化。即可进行基于深度图融合的稠密重建。下的深度图和法向量图。
2022-09-23 15:38:42
1167
原创 相机内参intrinsics与外参extrinsics
这两部分是可逆的,都是2D与2D直接的变换。而对于相机到图像,这是一个中心投影,由3D到2D的一个变换。相机位姿估计最终目标是获得表征相机运动的旋转矩阵R和平移向量t,可分成两种方法:一种是2D-2D估计加三角测量,另一种是3D-2D估计加3D-3D估计。目标点的3D位置与相机点的3D位置的相互关系所组成的homo矩阵。从目标的世界坐标系3D,转换到相机坐标系3D,然后转换到图像平面坐标系2D,最后转换到传感器坐标系2D。一般还包括了剪切和尺度的变换。目标到相机是外参,相机与图像平面,传感器平面,是内参。
2022-09-22 17:31:42
1008
原创 colmap源码解析
COLMAP 是一种通用的运动结构 (SfM) 和多视图立体 (MVS) 管道,具有图形和命令行界面。它为有序和无序图像集合的重建提供了广泛的功能。该软件是在新的 BSD 许可下获得许可的。
2022-09-20 16:35:44
1691
1
原创 COLMAP: Structure-from-Motion Revisited
SFM主要分为三类:增量式、分层式、全局式,其中最为流行的是增量式,但是目前在鲁棒性、精确度、完整性等方面还有待提高。需要对增量式SFM中三角化和BA等步骤进行了改进,这能够提高SFM的精确率和鲁棒性以及重建完整性。首先,SFM通常进行特征提取,然后匹配以及几何校验来滤出外点,经过前面的步骤就得到了场景图(scene graph),该场景图是后续增量式的基础,也就是提供数据关联等信息的作用。增量式重建中需要非常仔细挑选两帧进行重建,在图像进行注册之前,需要进行三角化场景点和滤出外点还得BA优化当前的模型。
2022-09-14 16:36:50
374
原创 三维重建系列 COLMAP: Structure-from-Motion
BA优化:由于图像注册与三角化是分开进行的,但二者是强相关的两个过程:错误的位姿会导致错误的三角化点点产生,反之亦然。三角化的过程中使用了RANSAC,即从上述特征追踪中随机选择2个点(一对点)进行三角化,统计内点数(即,重投影误差小于阈值记为内点),选择内点数最多的那个作为三角化点。根据未知的图像与地图中图像的2D-2D匹配,进而得到二者之间的2D-3D匹配,然后利用RANSAC-PNP解算出该相机位姿,完成图像注册。三角化:新注册的图像需要对已有的场景点有足够多的观测,同时也可以通过三角化扩展场景点。
2022-09-04 23:08:41
524
原创 神经网络中的权值共享
权值共享的卷积操作有效解决了这个问题,无论图像的尺寸是多大,都可以选择固定尺寸的卷积核,LeNet中最大的卷积核只有5*5*1,而在AlexNet中最大的卷积核也不过是11*11*3。2012年的AlexNet网络是深度学习的开端,但是CNN的开端最早其实可以追溯到LeNet5模型,它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是。权值共享后意味着每一个卷积核只能提取到一种特征,为了增加CNN的表达能力,当然需要多个核,不幸的是,它是一个Hyper-Parameter。...
2022-08-15 10:12:39
1418
原创 JAX介绍
谷歌于 2018 年推出的 JAX 迎来了迅猛发展,2020 年,DeepMind 宣布使用 JAX 来加速其研究。越来越多来自谷歌大脑(Google Brain)和其他机构的项目也都在使用 JAX。JAX 已经在深度学习、机器人 / 控制系统、贝叶斯方法和科学模拟等诸多领域得到了广泛应用。...
2022-08-12 10:19:10
1453
原创 目标检测场景SSD-Mobilenetv1-FPN
基于SSD_MobileNetV1_FPN(采用MobileNetV1网络和FPN网络作为Backbone的SSD网络)。与fasterRcnn原生模型类似,有四个输出张量,分别为目标数,置信度,坐标框和类别ID。
2022-08-01 14:01:16
1021
2
原创 TensorFlow Lite源码解析
相比普通的TensorFlow,它的功能更加精简,不支持模型的训练,不支持分布式运行,也没有太多跨平台逻辑,支持的op也比较有限。
2022-07-26 09:46:47
658
原创 toco生成tflite模型
模型量化有两种方式pythonAPI和toco工具,这两种方式都可以进行tflite模型转换,包括float16、int8两种数据格式的tflite模型。FLite是为了将深度学习模型部署在移动端和嵌入式设备的工具包,可以把训练好的TF模型通过。......
2022-07-22 14:16:20
554
原创 tflite模型转换与MLIR
模型量化有两种方式:python API和toco工具,这两种方式都可以进行tflite模型转换,包括float16、int8两种数据格式的tflite模型。
2022-07-14 10:03:47
610
原创 恩智浦(NXP) i.MX8MP-DeepViewRT
eIQ Inference with DeepViewRT™是一款平台经过优化的运行时推理引擎,可扩展到各种恩智浦设备和神经网络计算引擎。
2022-07-11 15:08:53
447
原创 AI平台、AI中台架构
1)公有云形式:在开放平台注册账户,申请权限,调用对应AI能力的API服务缺点:数据出公司域,存在数据安全优点:价格相对低2)私有化形式:将AI能力以产品包的形式部署
2022-07-05 12:02:57
3463
原创 i.MX 8M Plus-集成专用神经处理引擎(NPU)
i.MX 8M Plus集成了NPU(且算力高达2.3TOPS)、双千兆以太网、两个集成MIPI CSI摄像头接口和双摄像头图像信号处理器(ISP),并支持三屏异显、HiFi语音及其他多媒体功能的处理器。
2022-07-01 10:36:54
674
原创 Arm架构与神经网络
Cortex-M55架构和其配套的Ethos-U55微NPU架构的理念都是为设备提供更好的AI处理能力,它们将会成为终端设备用上AI技术的有力助推手。
2022-06-30 18:05:45
951
原创 Transformer和Self-Attention
Transformer的本质上是一个Encoder-Decoder的结构,encoder读入输入数据,利用层层叠加的Self-Attention机制对每一个词得到新的考虑了上下文信息的表征。
2022-06-29 20:21:54
404
原创 Swin V2:向更大容量、更高分辨率的更大模型迈进
Swin Transformer在目标检测、实例分割等计算机视觉任务上均取得了SOTA的性能。
2022-06-28 20:29:59
1243
原创 PP-YOLOE详解
PP-YOLOE有一系列的模型,即s/m/l/x,可以通过width multiplier和depth multiplier配置。
2022-06-27 12:13:48
2171
原创 Tesla神经网络模型-HydraNet
让车理解交通环境从而能自主地在人类的交通设施下完成自动驾驶,AI就必须同时掌握数量众多的感知任务(例如:车辆、行人、自行车检测,车道线分割,可通行区域分割,红绿灯、标志牌检测,视觉深度估计,异形障碍物检测等等...
2022-06-17 14:16:53
1268
原创 自动驾驶-Planning and Control
使用经典的启发式算法,比如A*算法来做行车判定很不靠谱,容易卡在局部最优解,浪费大量的试错也不好优化
2022-06-17 14:16:45
438
原创 特斯拉自动驾驶持续优化的底层逻辑
特斯拉内部数据离线自动标注(Data Auto Labeling)以及自动训练框架“数据引擎(Data Engine)。
2022-06-16 19:17:31
473
中文权重:obs://lfx/weights/llama2-Chines-7b-Chat
2024-01-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人