SLAM与现实复杂场景不符的一些假设

SLAM环境感知迈向通用性场景，仍要解决鲁棒性问题。下面按照个人经验和理解给出了SLAM中与现实情况不符的一些假设。

曼哈顿世界

曼哈顿世界假设假定世界是一个由直角相交的轴线构成的结构，就像曼哈顿（纽约市）的街道网一样。环境中存在垂直/正交的信息，如地板、天花板、墙面等。这个假设在场景中只存在垂直和水平方向的直角结构，而没有倾斜或曲线的结构。曼哈顿世界假设可简化对物体和场景的建模，甚至建立坐标系。

曼哈顿世界假设是什么？
这是比较古老的一个SLAM方法采用的假设。后面的SLAM方法不采用这个假设。

封闭场景

通常封闭室内、有限空间的SLAM方法表现比较好，比如TUM数据集明确区分了室外、弱纹理的数据，因为大尺度场景对SLAM带来挑战。

室外大场景SLAM问题，野外的特点是场景略微空旷，周围特征不规则，这种场景下，ORB-SLAM等，很容易跟踪丢失，一些LiDAR SLAM方法也会因为特征缺少而出现退化现象。
另一个重大问题就是，SLAM所保存和维护的地图会随着运动越来越大。因此RTabMap提供了一套适用于大范围环境、长周期定位的内存管理机制。

环境光照不变

环境光照变化对SLAM是较大的挑战。光照引起图像的外观变化，传统方法无法识别是同一地点，就会给SLAM的地图闭环带来挑战。

光照变化对图像处理的影响主要体现在两个方面：识别率和鲁棒性。首先，图像识别算法在不同光照条件下的表现往往不尽相同。例如，在亮度不足的情况下，物体可能会因为阴影而变得难以识别。而在强光照射下，反射光可能导致物体的颜色失真，从而影响识别的准确性。提取大量特征点用于前后帧比对的SLAM方案，在面对光照变化时，跟踪留存比率会大幅下降。
计算机视觉中的光照变化：从挑战到解决方案-CSDN博客
通过深度学习来识别地点的方法某种程度可以解决这个问题。通过特征描述符提取特征点的方案，需要尽量具有光照不变性。SuperPoint+LightGlue有希望使SLAM解决光照变化的问题。

朗伯表面

采用光度法误差的SLAM中，采用灰度值进行跟踪等，它假设物体表面是泛光反射的或者漫反射的。具体而言，投射到物体表面的光反射强度即$I_{朗伯}(\theta )=I_0\cos (\theta )$，其中$I_0$为散射表面法线方向的光线强度；$\theta$是出射光线与散射表面法线方向的夹角。
这要求物体表面材质均匀，不反光等。

不满足这些要求的场景如高光、高频、镜面等多种条件，都会挑战前端的鲁棒性。算法在这些方面的误差会是个问题。
双目立体匹配入门 的难点- CSDN博客
Lambertian 反射(也叫理想散射) - CSDN博客

同一点灰度不变

灰度不变假设：同一个空间点，在各个时刻的图像上的灰度值固定不变。 即 光流法的基本表达式：I (x+dx, y+dy,t+dt)=I (x,y,t) 。主要用于SLAM中特征点的跟踪。
灰度不变假设是一个很强的假设，实际当中很可能不成立。事实上，由于物体的材质不同，像素会出现高光和阴影部分；有时，相机会自动调整曝光参数，使得图像整体变亮或变暗。这些时候灰度不变假设都是不成立的。
直接法 - 半闲居士 - 博客园

静态场景

通常SLAM是在静态环境中。如果出现其他车辆或行人，会被当做外点剔除掉。在画面中选择外点和内点的判定标准通常是以更多的点作为静态点。但是如果在场景存在大量移动的行人，或者较大的移动物体，它的感知就会出现混乱。

解决动态场景就需要分割、跟踪视场中的对象。
动态环境下的slam问题如何解决？ - 无疆WGH的回答 - 知乎

结构化环境

结构化环境是指机器人工作的周围场所是固定的布局，有大量的线、面特征，甚至预先知道环境中常见对象的模型等。非结构化环境(unstructured environment)与之相对，比如树林、田野、水下、戈壁等野外环境。
由于环境多样性和场景复杂性等挑战，非结构化室外环境中的自动驾驶研究不如结构化城市环境中的研究先进。这些环境，如农村地区和崎岖的地形，构成了结构化城市地区不常见的独特障碍。尽管存在这些困难，但在非结构化室外环境中的自动驾驶对于农业、采矿和军事行动的应用至关重要。

非结构化环境中的自动驾驶：我们还能走多远？-CSDN博客

在非结构化环境中的机器人感知算法通常尽量减少采用线、面特征。

其他工程问题

SLAM难以落地还有一些重要的原因，基本是工程问题。比如

每一帧都是清晰的

对于普通卷帘快门相机来说，如果相机运动太快，曝光时间比如2ms之内不同时刻在画面上成的像就会一行一行偏移，这个称为卷帘快门效应。对于全局曝光相机来说，相机运动太快，就会出现模糊。这种情况有可能会大大降低前端跟踪的精度。
知乎-关于卷帘快门逐行曝光所造成的“果冻效应”浅谈

帧与帧之间时间间隔一致

对于尤其是多传感器融合的SLAM方法，时间同步会是个大问题。如果传感器硬件没有提供稳定的帧率，就得依赖算法去估算每个传感器测量的时刻，这很难做到。
参考：RGB-D SLAM 相关总结-CSDN博客

前端跟踪低延迟

SLAM将建图、地图维护等实时性要求低的内容放到后端，慢慢来求解和细化；而对于前端感知和跟踪，都很依赖本体运动模型的假设，比如恒速，如果正好转了个弯或有大幅度的运动变化，那就会挑战到跟踪的可靠性。而SLAM的运动跟踪很依赖在图像中选特征点，选出来的点往往经过RANSAC留存下一部分inlier，如果这里的实时性不够，就有可能跟丢。S-MSCKF的前端用了FAST角点，占用的时间已经超过了一半。