视觉SLAM知识库+学习资源+相关企业总结

视觉SLAM的知识资源以及相关企业总结

先在这儿记录一下，SLAM涉及的太多了，现在接触的只是冰山一角。

声名：我只是微信公众号计算机视觉life的搬运工。

一、SLAM知识库

1、SLAM框架/算法流程

2、应掌握的数学知识

• 矩阵：四则运算、求逆、反对称矩阵；矩阵分解（SVD、QR、Cholesky）。
• 李群与李代数：指数对数映射；李代数求导；扰动模型。
• 非线性优化：梯度下降；牛顿法；高斯牛顿法；LM算法；Bundle Adjustment。
• 微积分：求(偏)导、泰勒展开等。

3、专业知识

• 计算机视觉
  　① 传感器类型：
  　　　激光雷达
  　　　视觉传感器：单目相机、双目相机、RGB-D相机、
  　　　　　　　　　全景相机、Event相机。
  　　　IMU (Inertial measurement unit，测量物体三轴姿态角及加速度的装置)
  　　　
  　② 相机：
  　　　针孔相机模型、双目相机模型、RGB-D相机模型、相机标定、
  　　　去畸变。
  　　　
  　③ 特征点
  　　　特征点检测、特征点描述子、特征点匹配、特征点筛选。
  　　　
  　④ 多视角几何
  　　　对极约束、本质矩阵、单应矩阵、三角化。
• 书籍文献
  　《视觉SLAM十四讲》、《Multiple View Geometry》、
  　《机器人状态估计》

4、编程环境

• Linux系统操作：推荐Ubuntu16.04
  　　　　　　　　书《鸟哥的Linux私房菜》
• 开发环境：Clion（ JetBrains 推出的全新的 C/C++ 跨平台集成开发环境）
  　　　　　　Kdevelop（免费的）
• 编译工具：学习跨平台编译器cmake、电子书《Cmake Practice》
• 第三方库：Opencv(计算机视觉)、Eigen(几何变换)、Sophus(李代数)、
  　　　　　　Ceres(非线性优化)、G2o(图优化)、OpenGL(计算机图形学)
• 文档编辑：Gedit、Vim、Nano

5、应用场景

• 自动驾驶：作为激光传感器的辅助（百度、腾讯、驭势、图森）
• 增强现实：手机、智能眼镜上结合IMU用于定位（微软、三星、华为、虹软、悉见）
• 机器人：无人机定位、建立地图（大疆）；服务机器人室内定位及导航（思岚）；
  　　　　工业机器人定位导航（阿里、京东AGV仓库运输）
• 三维重建：物体重建（3D打印、3D虚拟试衣）；大场景重建（虚拟全景漫游）

6、公开数据集
TUM RGB-D SLAM Dataset、KITTI Vision Benchmark Suite、EuRoC MAV Dataset.

7、典型开源方案

• 稀疏法：ORB-SLAM2（单目、双目、RGB-D）
• 半稠密法：LSD-SLAM（单目、双目、RGB-D）、DSO（单目）
• 稠密法：Elastic Fusion（RGB-D）、Bundle Fusion（RGB-D）、
  　　　　　RGB-D SLAM V2（RGB-D）
• 多传感器融合：VINS（单目+IMU）、OKVIS（单目、双目、四目+IMU）

二、SLAM学习资源总结

1、公众号
　　泡泡机器人SLAM、计算机视觉life、3D视觉工坊、小白学视觉、计算机视觉之路、AI算法修炼营、PCL点云。
　　
2、视频公开课
　　① 泡泡机器人公开课
　　② 计算机视觉life SLAM研习社直播公开课
　　③ SLAM Totorial@ICRA 2016
　　④ Robotics-UPenn on Coursera by Vijay Kumar(2016)
　　⑤ Computer Vision Ⅱ：Multiple View Geometry-TUM by Daniel Cremers (Spring 2016)
　　⑥ Advanced Robotics-UCBerkeley by Pieter Abbeel (Fall 2015)
　　⑦ The Problem of Mobile Sensors

3、主要研究方向
　　视觉里程计：线特征；点线特征融合；点面特征融合；点线面多特征融合；多鱼眼VO；特征点发直接法结合；抗光照变化。
　　
　　语义SLAM：3D语义地图重定位；语义建图互相促进。
　　
　　多传感器融合：VIO（松耦合、紧耦合）；多传感器在线标定；camera，lidar融合定位；lidar，天花板摄像头融合；lidar，imu融合；TOF辅助双目密集匹配；事件相机SLAM；多机协同SLAM。
　　
　　优化方法：非线性增量优化；BA改进；离散连续图模型优化；边缘的约束图优化。
　　
　　三维重建：大尺度场景下的实时重建；RGBD室内稠密重建；地图数据关联；MVS；3D物体分类，提升重建质量；多子图融合。
　　
　　结合深度学习：基于深度学习的特征点；结合深度学习的深度估计；深度学习做闭环检测；深度学习估计关键帧深度。

4、会议期刊

• 英文期刊
  ICRA（IEEE International Conference on Robotics and Automation）
  IROS（IEEE International Conference on Intelligent Robots and Systems）
  CVPR（IEEE International Conference on Computer Vision and Pattern Recognition）
  RSS（Robotics：Science and Systems）
  ECCV（European Conference on Computer Vision）
  ISMAR（IEEE and ACM International Symposium on Mixed and Augmented Reality.IEEE）
  JFR（Journal of Field Robotics）
  IEEE Transactions on Robotics
  ACRA（Australian Conference on Robotics and Automation）
  ICARCV（International Conference on Cotrol，Automation，Robotics and Vision）
  ISR（International Symposium on Robotics）
  IEEE Transactions On Pattern Analysis And achine Intelligence

• 中文期刊
  计算机辅助设计与图形学学报
  机器人
  计算机应用研究
  中国科学：信息科学

5、知名研究实验室

• 欧洲
  苏黎世联邦理工学院的Autonomous System Lab
  苏黎世大学Robotics and Perception Group
  慕尼黑工业大学The Computer Vision Group
  英国伦敦大学帝国理工学院 Dyson 机器人实验室
  英国牛津大学Active Vision Laboratory
  德国弗莱堡大学Autonomous Intelligent Systems
  西班牙萨拉戈萨大学SLAM实验室

• 北美
  麻省理工计算机科学与人工智能实验室（CSAIL）海洋机器人组
  明尼苏达大学Multiple Autonomous Robotics Systems Laboratory
  宾夕法尼亚大学GRASP实验室
  华盛顿大学UW Robotics and Estimation Lab
  哥伦比亚大学计算机视觉与机器人组
  加拿大谢布鲁克大学IntRoLab
  斯坦福大学人工智能实验室自动驾驶团队
  卡内基梅隆大学Robot Perception Lab
  特拉华大学Robot Perception and Navigation Group

• 亚洲
  香港科技大学Aerial Robotics Group
  浙江大学CAD&CG国家重点实验室Computer Vision Group
  清华大学自动化系宽带网络与数字媒体实验室BBNC
  中科院自动化研究所国家模式识别实验室Robot Vision Group
  上海交通大学感知与导航研究所
  武汉大学Computer Vision & Remote Sensing Lab
  日本先进工业科技研究所
  筑波大学智能机器人研究室
  新加坡南洋理工大学HESL实验室
  韩国科学技术研究院

• 澳洲
  澳大利亚悉尼科技大数学CAS实验室
  澳大利亚机器学习研究所机器人视觉中心

三、SLAM相关企业

1、移动机器人

• 扫地机器人
  科沃斯（苏州）、石头（北京）、追觅（上海）、银星智能（深圳）

• 服务机器人
  优必选（深圳）、达闼（北京）、思岚（上海）、高仙（上海）、猎户星空（北京）、速感（北京）、普渡（深圳）、美团（北京）

• 仓储机器人
  旷视（北京、上海）、京东（北京）、顺丰（深圳）、海康威视（杭州）、极智嘉（北京）

2、相机传感器

• 双目相机
  小觅（无锡）、Indemind（北京）、爱观（上海）、中科慧眼（北京）

• RGBD相机
  Intel（北京、上海）、奥比中光（深圳）、Pico（青岛、北京）、图漾（上海）、云从（重庆）

• 激光雷达
  禾赛（上海）、镭神智能（深圳）、速腾聚创（深圳）

• 事件相机
  芯仑（上海）

3、无人机
大疆（深圳、上海）、亿航（广州）、臻迪（北京）

4、智能驾驶

• 无人驾驶
  百度（北京）、阿里菜鸟/达摩院（杭州）、腾讯（北京）、驭势（北京、上海）、momenta（北京）、滴滴（北京）、图森（北京）、飞步科技（杭州）、纽励科技（上海）、小马智行（广州）、Aptiv（上海）、文远知行（广州）

• 辅助驾驶
  纵目科技（上海）、魔视智能（上海）、极目智能（武汉）、虹软（杭州）、商汤（北京）

• 芯片
  NVIDIA（上海）、地平线（北京、南京）

• 高精地图
  高德（北京）、四维图新（北京）

• 汽车厂商
  上汽研究院（上海）、蔚来汽车（上海）、小鹏汽车（广州）、宇通客车（郑州）

5、增强现实

• 智能眼镜
  联想（上海）、视辰（上海）、肇观电子（上海）、悉见（北京）

• 手机
  华为（上海）、虹软（杭州、上海）、商汤（杭州）、亮风台（上海）、今日头条（北京）