目录
一、慕尼黑工业大学的The Computer Vision Group
二、 苏黎世Robotics and Perception Group
一、慕尼黑工业大学的The Computer Vision Group
研究方向:三维重建,光流估计,机器人视觉,视觉SLAM等
实验室主页:Computer Vision Group - Visual SLAMComputer Vision Group - Research AreasComputer Vision Group - Visual SLAM
发表论文:Computer Vision Group - Publications
Github地址:https://github.com/tum-vision
教授:
Daniel Cremers教授,主要研究:多视图重建、视觉SLAM、自动驾驶系统
个人主页:谷歌学术Daniel Cremers 个人学术档案 - 学术资源搜索
Haoang Li教授,主要研究: 3D 计算机视觉,SLAM、点云处理和理解、语义 3D 场景重建
代表性研究:
视觉SLAM
主页:Computer Vision Group - Visual SLAM
基于光度学的重建
主页: 计算机视觉小组 - 基于光度测量的重建
LSD-SLAM: Large-Scale Direct Monocular SLAM (J. Engel, T. Schöps and D. Cremers), In European Conference on Computer Vision (ECCV), 2014.
github代码:tum-vision/lsd_slam: LSD-SLAM
DVO_SLAM:Dense Visual SLAM for RGB-D Cameras (C. Kerl, J. Sturm, D. Cremers), In Proc. of the Int. Conf. on Intelligent Robot Systems (IROS), 2013.
二、 苏黎世Robotics and Perception Group
研究方向:无人机环境感知与导航,VISLAM,事件相机
实验室主页:Robotics and Perception Group
发表论文:Robotics and Perception Group
Github地址:Robotics and Perception Group
教授:
Davide Scaramuzza教授,主要贡献:
第一架击败世界冠军无人机赛车飞行员的 AI 无人机:
论文:
Champion-level drone racing using deep reinforcement learning
视频:IMVIP 2020 Keynote: Davide Scaramuzza - Learning Autonomous, Agile Vision-based Flight - YouTube
个人主页:Davide Scaramuzza
对基于视觉惯性 SLAM 的微型无人机自主导航做出了开创性贡献:
Event Cameras, Event camera SLAM, Event-based Vision, Event-based Camera, Event SLAM
代表性研究:
RPG SVO(Semi-direct Visual Odometry)是一个由苏黎世大学机器人与感知小组(RPG)开发的开源视觉里程计项目。该项目采用半直接法进行视觉里程计计算,能够在实时环境中提供快速且准确的定位和地图构建。SVO主要利用图像中的特征点进行相机位姿估计,适用于无人机、移动机器人等多种应用场景。
论文eg:
SVO: Fast Semi-Direct Monocular Visual Odometry
github代码:uzh-rpg/rpg_svo: Semi-direct Visual Odometry
论文PDF:CMSY10
基于事件的视觉、事件摄像机、事件摄像机 SLAM
主页:事件摄像机, 事件摄像机 SLAM, 基于事件的视觉, 基于事件的摄像机, 事件 SLAM
github代码:uzh-rpg/事件based_vision_resources
PDF:Event-based Vision: A Survey
PPT:A Toolbox for Easily Calibrating Omnidirectional Cameras
视觉、惯性里程计、 SLAM
主页:机器人感知组
论文eg:
端到端学习的基于事件和图像的视觉里程计:
论文PDF:IROS24_Pellerito.pdf
三、英国帝国理工学院戴森机器人实验室
研究方向:机器人视觉场景与物体理解、机器人操纵
实验室主页:The Dyson Robotics Lab at Imperial College | Research groups | Imperial College London
发表论文:
Publications | Research groups | Imperial College London
教授:
Andrew Davison教授
机器人视觉宗师,现任英国帝国理工学院教授,机器视觉组及Dyson机器人实验室主任,英国牛津大学博士,单目摄像头SLAM奠基人(MonoSLAM),近年来在视觉slam领域做了大量研究,著名工作包括MonoSLAM, SLAM++, DTAM等。
主要研究:视觉SLAM,提高实时 3D 视觉的动力学、规模、细节层次、效率和语义理解方面的性能
个人主页:Andrew Davison:研究
Twitter:Andrew Davison (@AjdDavison) / X
代表性研究:
CodeSLAM(紧凑、可优化的密集视觉 SLAM 表示)
论文eg:
CodeSLAM—Learning aCompact, Optimisable Representation for Dense Visual SLAM
论文PDF:mbloesch_etal_cvpr2018.pdf
SemanticFusion(一种实时视觉 SLAM 系统,能够对密集的 3D 场景进行语义注释)语义融合
SemanticFusion开源代码:dysonroboticslab / semanticfusion — Bitbucket
论文eg: SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks
github代码:seaun163/semanticfusion
论文PDF:SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks
ElasticFusion(一种以地图为中心的实时方法,通过检测和校正环路闭合来构建密集、一致的房间规模地图)弹性融合
ElasticFusion开源代码:dysonroboticslab / elasticfusionpublic — Bitbucket
论文eg:ElasticFusion: Real-Time Dense SLAM and Light Source Estimation
github代码:mp3guy/ElasticFusion:实时密集视觉 SLAM 系统
论文PDF:CMSY8
SceneNet RGB-D(生成逼真的室内 RGB-D 图像的图像生成器)
SceneNetRGB-D开源代码:dysonroboticslab / scenenetrgb-d — Bitbucket
四、香港科技大学机器人和多感知实验室
研究方向:三维重建、自动驾驶
实验室主页:机器人和多感知实验室 ·机器人和多感知实验室
发表论文:Publications · Robotics and Multiperception Lab
教授:
刘明教授,主要研究:动态环境建模、机器人深度学习
代表性研究:
3d重建
论文eg:Tightly Coupled 3D Lidar Inertial Odometry and Mapping
论文PDF:1904.06993
LIO-mapping:LIO-mapping
自动驾驶汽车
论文eg:Probabilistic End-to-End Vehicle Navigation in Complex Dynamic Environments with Multimodal Sensor Fusion
论文PDF:cai2020raliros.pdf
论文eg:Vision-Based Autonomous Car Racing Using Deep Imitative Reinforcement Learning
论文PDF:Vision-Based Trajectory Planning via Imitation Learning for Autonomous Vehicles
五、美国卡耐基梅陇大学机器人研究所
研究方向:机器人感知、结构,服务型、运输、制造业、现场机器等
实验室主页:Robotics Institute Carnegie Mellon University : Robotics Education and Research Leader
发表论文:Publications - Robotics Institute Carnegie Mellon University
主要成果:Research - Robot Perception Lab
教授:
Michael Kaess教授,主要研究:SLAM、计算机视觉、
主页:Michael Kaess @ CMU/Michael Kaess - Google 学术搜索(谷歌学术)
Sebastian Schere教授,主要研究:计算机视觉、3d视觉和识别
代表性研究:
iSAM:增量平滑和建图(iSAM),这是一种基于快速增量矩阵分解的同时定位和建图问题方法,通过更新自然稀疏平滑信息矩阵的QR分解来实现。
github代码:https://github.com/ori-drs/isam
Dense 3D Mapping
论文eg:Real-time large scale dense RGB-D SLAM with volumetric fusion
论文PDF:Whelan15ijrr.pdf
SLAM and Robot Arms
论文eg:Articulated Robot Motion for Simultaneous Localization and Mapping (ARM-SLAM)
论文PDF:Klingensmith16ral.pdf
六、美国明尼苏达大学多元自主机器人系统实验室(MARS)
研究方向:视觉、激光、惯性导航系统,移动设备大规模三维建模与定位
实验室主页:UMN - MARS Lab
发表论文:UMN - MARS Lab
主要成果:UMN - MARS Lab
教授:
Stergios I. Roumeliotis教授,主要研究:SLAM、计算机视觉、机器人
代表性研究:
概述:MARS 实验室引入了几种最先进的视觉惯性定位和映射 算法
使用滚动快门相机的视觉惯性导航系统(VINS)(Visual-Inertial Navigation System (VINS) using a Rolling-Shutter Camera):
提出了一种高精度VINS,它明确考虑并解释了IMU相机系统的滚动快门和时间同步问题
论文eg:C.X. Guo, D.G. Kottas, R.C. DuToit, A. Ahmed, R. Li, and S.I. Roumeliotis, "Efficient Visual-Inertial Navigation using a Rolling-Shutter Camera with Inaccurate Timestamps," Robotics: Science and Systems Conference (RSS), Berkeley, CA, Jul. 12-16, 2014
半稠密地图(Semi-Dense Mapping):
该项目的目标是生成区域的半稠密3D地图,正如先前的稀疏视觉 - 惯性批量最小二乘(BLS)协同建图(CM)算法的相机姿态估计所给出的效果。
论文eg:C.X. Guo, R.C. DuToit, K. Sartipi, G.Georgiou, R. Li, J. O'Leary, E.D. Nerurkar, J.A. Hesch, and S.I. Roumeliotis, "Resource-Aware Large-Scale Cooperative 3D Mapping from Multiple Cell Phones," In ICRA Late Breaking Results Poster, Washington, May. 26-30, 2015.
使用移动设备进行高精度,增量3D室内定位和建图(High-Precision, Incremental 3D Indoor Localization and Mapping using Mobile Devices):
使用来自商业级低成本传感器的视觉和惯性数据,为资源受限的移动设备(例如手机和平板电脑)提供增量批量最小二乘(IBLS)定位和建图算法
主页: UMN - MARS Lab
论文eg:K.J. Wu, A.M. Ahmed, G.A. Georgiou, and S.I. Roumeliotis, "A Square Root Inverse Filter for Efficient Vision-aided Inertial Navigation on Mobile Devices," Robotics: Science and Systems (RSS'15), Rome, Italy, July 13-17, 2015
协作建图(Cooperative Mapping):
当用户的起始姿势之间的转换未知时,使用多个用户在不同时间收集的数据集来解决协作建图(CM)的问题
论文eg: C.X. Guo, R.C. DuToit, K. Sartipi, G.Georgiou, R. Li, J. O'Leary, E.D. Nerurkar, J.A. Hesch, and S.I. Roumeliotis, "Resource-Aware Large-Scale Cooperative 3D Mapping from Multiple Cell Phones," In ICRA Late Breaking Results Poster, Washington, May. 26-30, 2015.
七、苏黎世联邦理工计算机视觉与几何实验室
研究方向:定位、三维重建、语义分割、机器人视觉
实验室主页:Computer Vision and Geometry Group
发表论文:Computer Vision and Geometry Group
github代码:https://github.com/cvg
教授:
Marc Pollefeys教授
主要研究:他最出名的是他在 3D 计算机视觉方面的工作,是第一个开发软件管道的人自动将照片转换为 3D 模型,但也适用于机器人、图形和机器学习 问题。他参与的其他值得注意的项目是使用移动设备进行实时 3D 扫描,这是一种实时 用于从车载摄像头、基于摄像头的自动驾驶汽车和 第一架基于视觉的完全自主无人机。最近,他的学术研究主要集中在 3D 结合 使用语义场景理解进行重建。
主页:Marc Pollefeys 的主页 / Marc Pollefeys - Google 学术搜索
Johannes L. Schönberger教授
主要研究:主要研究兴趣在于基于图像的地图绘制、定位和场景 理解。更广泛地说,对计算机视觉和几何。完整且最新的出版物列表可以 在 Google 上找到学者或更高级别下面。
作为研究的一部分,开发了开源软件 COLMAP——一种基于图像的端到端 3D 软件在学术界和工业界广泛使用的重建软件。还为许多其他科学开源项目做出了贡献。 包括 scikit-image、scikit-learn、NumPy、SciPy 等。大多数开源活动都可以在 GitHub 上找到。
主页:Johannes Schönberger / Johannes Schönberger - Google 学术搜索
代表性研究:
3d reconstruction
论文eg:NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM
论文pdf:2302.03594
3D 场景语义和实例分割问题(3D Scene Understanding)
主页:Computer Vision and Geometry Group | 3D Scene Understanding
论文eg:OpenMask3D: Open-Vocabulary 3D Instance Segmentation
论文项目主页:OpenMask3D 🛋
论文pdf:2306.13631
github代码:github.com
Line Features and Hybrid Methods(用于 3D 重建和视觉定位的线特征)
线特征可以补充大多数计算机视觉应用中的特征点,并带来额外的稳健性。
主页:Computer Vision and Geometry Group | Line Features and Hybrid Methods
论文eg:3D Line Mapping Revisited
论文项目主页:3D Line Mapping Revisited
论文pdf:b1ueber2y.me/projects/LIMAP/limap.pdf
github代码:github.com
运动结构(Structure-from-Motion)
Structure-from-Motion (SfM) 是一种强大的视觉管道,用于从一组无序图像中估计相机参数和稀疏点云,并广泛用作计算机视觉系统的后端
主要特点
特征检测和匹配:必须在图像中检测和匹配本地特征。
视觉定位:根据稀疏 3D 地图估计图像的相机姿态是增量映射管道的核心。
捆绑调整:摄像机姿势和 3D 点云通过称为光束法调整的大型非线性优化进行联合优化。
应用:Structure-from-Motion 广泛用于许多计算机视觉任务,例如:
摄影 测量
3D 重建
视觉定位
论文eg:LaMAR:Benchmarking Localization and Mapping for Augmented Reality
论文项目主页:Home – The LaMAR Benchmark
论文pdf:LaMAR.pdf
github代码:github.com
dataset:Access to the LaMAR dataset
八、英国牛津大学信息工程学
研究方向:
实验室主页:Information Engineering ain/Home Page
主动视觉实验室:robots.ox.ac.uk/ActiveVision/index.html
牛津机器人学院:Oxford Robotics Institute | Department of Engineering Science | University of Oxford
发表论文:
主动视觉实验室:Publications
牛津机器人学院:Oxford Robotics Institute | Publications - Papers
部分博士学位论文可以在这里搜到:https://ora.ox.ac.uk/
实验室代码:
主动视觉实验室:牛津主动视觉实验室代码
教授:
David Murray教授
主要研究:定位和地图、导航、远程操作、可穿戴设备和辅助计算和增强现实
代表性研究:
(主动视觉实验室)NeRF:没有已知相机参数的神经辐射场
项目主页:NeRF--
论文eg:NeRF--: Neural Radiance Fields Without Known Camera Parameters
论文pdf:2102.07064
github代码:ActiveVisionLab/nerfmm: (Arxiv 2021) NeRF--: Neural Radiance Fields Without Known Camera Parameters
(主动视觉实验室)PTAM:(并行跟踪和建图)用于增强现实的相机跟踪系统(较早)
项目主页:Parallel Tracking and Mapping for Small AR Workspaces (PTAM)
论文eg:Parallel Tracking and Mapping for Small AR Workspaces
论文pdf:robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf
github代码:Parallel Tracking and Mapping for Small AR Workspaces (PTAM)
(主动视觉实验室)LaLaLoc++:在未访问的环境中进行布局定位的全局平面图理解
项目主页:LaLaLoc++: Global Floor Plan Comprehension for Layout Localisation in Unvisited Environments
论文eg:Global Floor Plan Comprehension for Layout Localisation in Unvisited Environments
github代码:LaLaLoc++: Global Floor Plan Comprehension for Layout Localisation in Unvisited Environments
九、美国特拉华大学机器人感知与导航组
研究方向:SLAM、VINS、语义定位与建图等。(开展机器人技术、计算机视觉和状态估计的基础和应用研究,同时专注于自动驾驶汽车的概率传感、估计、映射、定位、感知、预测和规划,并应用于自动驾驶、增强现实 (AR) 和虚拟现实 (VR)。)
实验室主页:Welcome! | Robot Perception & Navigation Group (RPNG)
发表论文:Publications | Robot Perception & Navigation Group (RPNG)
主要成果:研究 |机器人感知与导航组(RPNG)
Github代码:github.com
教授:
Guoquan (Paul) Huang教授
主要研究:集中在机器人和 XR 的状态估计和空间感知,包括自主地面、空中和水下车辆以及移动设备的概率传感、定位、测绘、感知和规划
代表性研究:
OpenVINS:
OpenVINS 项目包含一些核心计算机视觉代码以及最先进的基于滤波器的视觉惯性估计器。核心滤波器是一个扩展的卡尔曼滤波器,它将惯性信息与稀疏的视觉特征轨迹融合在一起。这些视觉特征轨迹利用多态约束卡尔曼滤波器 (MSCKF) 滑动窗口公式进行融合,该公式允许 3D 特征更新状态估计,而无需直接估计滤波器中的特征状态。受基于图的优化系统的启发,包含的过滤器具有模块化,允许使用适当的基于类型的状态系统方便地进行协方差管理。请查看下面的功能列表,了解有关系统支持的内容的完整详细信息。
项目主页: https://docs.openvins.com/
入门指南 :https:://docs.openvins.com/ getting-started.html
论文eg:
Geneva P, Eckenhoff K, Lee W, et al. Openvins: A research platform for visual-inertial estimation[C]//IROS 2019 Workshop on Visual-Inertial Navigation: Challenges and Applications, Macau, China. IROS 2019.
论文PDF : https:://pgeneva.com/ downloads/papers/Geneva2020ICRA.pdf
Github : https://github.com/rpng/open_vins
R-VIO
R-VIO 是一种高效、轻量级、以机器人为中心的视觉惯性导航算法,仅使用单目摄像头和单个 IMU 即可实现一致的 3D 运动跟踪。与直接估计移动平台相对于固定、重力对齐、全局参考系的绝对运动的标准以世界为中心的算法不同,R-VIO i) 相对于移动的局部帧(此处为 IMU 帧)估计相对运动的精度更高,以及 ii) 通过合成步骤逐步更新全局姿态(方向和位置)。
论文eg:Zheng Huai and Guoquan Huang, Robocentric visual-inertial odometry, The International Journal of Robotics Research (IJRR), 2022
论文PDF : 1805.04031
Github :github.com
十、哥伦比亚大学计算机视觉与机器人组
研究方向:计算机视觉小组是著名的计算机视觉和机器人实验室的一部分,该实验室以 RoboCup 和 SIFT 功能而闻名。专注于构建算法,以有效感知计算机中的视觉数据。在图像理解、视频理解、多模态(视觉 + 语言)建模、3D 计算机视觉、人体姿态估计以及将大型生成模型用于计算机视觉应用等领域开发算法。
实验室主页:UBC Computer Vision Lab - Home
发表论文:UBC Computer Vision Lab - Publications
Github代码:UBC Computer Vision Group
教授:
James Little 教授
主要研究:计算机视觉、机器人
主页:James Little - Google 学术搜索
Leonid Sigal教授
主要研究:计算机视觉、机器学习
代表性研究:
FLANN:
FLANN是用于在高维空间中执行快速近似最近邻搜索的库。它包含一系列我们发现最适合最近邻搜索的算法,以及一个根据数据集自动选择最佳算法和最佳参数的系统。
源码地址:https://www.cs.ubc.ca/research/flann/uploads/FLANN/flann-1.8.4-src.zip
SIFT:
SIFT(尺度不变特征变换)将图像的每个局部片段转换为独立于图像比例和方向的坐标。局部不变特征允许我们在任意旋转,缩放,亮度和对比度的变化以及其他变换下有效地匹配杂乱图像的小部分。将图像分成许多不同大小的小重叠片段,然后单独匹配每个部分,并检查匹配的一致性。
源码地址:robwhess/opensift: Open-Source SIFT Library
3D Gaussian Splatting
项目主页:3D Gaussian Splatting as Markov Chain Monte Carlo
论文eg:3D Gaussian Splatting as Markov Chain Monte Carlo
论文PDF : ubc-vision.github.io/3dgs-mcmc/paper.pdf
Github :ubc-vision/3dgs-mcmc: [NeurIPS 2024 聚焦] 论文“3D Gaussian Splatting as Markov Chain Monte Carlo”的实施
论文:Light Field Neural Rendering(光场神经渲染) CVPR 2022
论文项目主页:Light Field Neural Rendering
论文PDF:2112.09687
Github代码:google-research/light_field_neural_rendering at master · google-research/google-research
十一、美国加州大学圣地亚哥分校语境机器人研究所
研究方向:多模态环境理解,语义导航,自主信息获取
实验室主页:Existential Robotics Laboratory
发表论文:Existential Robotics Laboratory
教授:
Nikolay Atanasov教授
主要研究:SLAM、机器人
代表性研究:存在主义机器人实验室
语义 SLAM 经典论文:Bowman S L, Atanasov N, Daniilidis K, et al. Probabilistic data association for semantic slam[C]//2017 IEEE international conference on robotics and automation (ICRA). IEEE, 2017: 1722-1729.
实例网格模型定位与建图:Feng Q, Meng Y, Shan M, et al. Localization and Mapping using Instance-specific Mesh Models[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 4985-4991.
基于事件相机的 VIO:Zihao Zhu A, Atanasov N, Daniilidis K. Event-based visual inertial odometry[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5391-5399.
十二、美国麻省理工学院航空航天实验室
研究方向:位姿估计与导航,路径规划,控制与决策,机器学习与强化学习
实验室主页:Aerospace Controls Laboratory - Massachusetts Institute of Technology
发表论文:Publications - Aerospace Controls Laboratory
教授:
Jonathan P. How 教授
主要研究:
主页:Professor Jonathan How | Massachusetts Institute of Technology
Kasra Khosoussi教授
主要研究: SLAM图优化
代表性研究:
物体级 SLAM:
Mu B, Liu S Y, Paull L, et al. Slam with objects using a nonparametric pose graph[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2016: 4602-4609.
Github代码:https://github.com/BeipengMu/objectSLAM)
物体级 SLAM 导航:
Ok K, Liu K, Frey K, et al. Robust Object-based SLAM for High-speed Autonomous Navigation[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 669-675.
SLAM 的图优化:
Khosoussi, K., Giamou, M., Sukhatme, G., Huang, S., Dissanayake, G., and How, J. P., Reliable Graphs for SLAM [C]//International Journal of Robotics Research (IJRR), 2019.
十三、 美国麻省理工学院 SPARK 实验室
研究方向:移动机器人环境感知
实验室主页:Home | SPARKlab
教授:
Luca Carlone 教授
主要研究:
主页:Luca Carlone – Associate Professor, Department of Aeronautics and Astronautics
代表性研究:
SLAM 经典综述:
Cadena C, Carlone L, Carrillo H, et al. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age[J]. IEEE Transactions on robotics, 2016, 32(6): 1309-1332.
VIO 流形预积分:
Forster C, Carlone L, Dellaert F, et al. On-Manifold Preintegration for Real-Time Visual--Inertial O dometry[J]. IEEE Transactions on Robotics, 2016, 33(1): 1-21.
语义 SLAM:
项目主页:Kimera-Multi:适用于多机器人系统的稳健、分布式、密集度量语义 SLAM |SPARKlab 实验室
论文eg:Rosinol A, Abate M, Chang Y, et al. Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping[J]. arXiv preprint arXiv:1910.02490, 2019.
Github代码:https://github.com/MIT-SPARK/Kimera