为什么基于机器学习的自动驾驶系统不能靠功能安全即ISO26262进行约束？

ISO26262和它的引用标准IEC61508都根植于一个共同的信念即，研究一个设备的安全性就是研究这个设备的失效（ the study of device safety is the study of device failure）。这个信念从20世纪早期安全工程中用来解决飞机是两发动机安全还是四发动机安全开始（四发动机飞机失效可能是两发动机飞机的两倍，但是每种失效都没有那么严重,可参见汽车电子读书笔记-专业术语解析02），在整个20世纪的安全工程中就没有改变过。
表面上看，安全和失效之间的联系是非常强大的。安全功能必须持续有效来保证系统安全，它的失效意味着对安全的威胁。 不过，Nancy Leveson认为这个方法论对于21世纪的系统来说，太过简单了。她在《System Safety Engineering Back To The Future》一书中认为现在的系统非常复杂，不可能预测出所有可能导致失效的交互行为，我们需要更加复杂的方法来评估系统安全。Leveson特别指出了，在某些情况下，所有系统都按照预期运行，没有系统出现故障，但是，系统依然会出现非常危险的危害。Leveson在 Safety Sci., pp. 237–270, 2004《A New Accident Model for Engineering Safer Systems》中介绍了一起发生在英国的电控化学反应堆泄漏事件，这起事件中所有部件都运行正常没有故障。1996年6月4日西班牙发射的阿丽亚娜五号运载火（ Ariane 5），所有部件也是按照要求设计的，但是还是自毁了。
正如上段所说，在很多危险场景中，并没有功能失效。所以，安全分析不完全等同于失效分析。然而，现在的功能安全标准如ISO26262、EN5012x和IEC61508都是基于软硬件失效可能性造成的危险场景进行分析的。其中ISO26262在这方面的规定特别清楚，它定义的“功能安全”就是“系统没有电子电气系统故障行为引起的不合理风险absence of unreasonable risk due to hazards caused by malfunctioning behaviour of E/E systems”。如果这种风险不是故障行为引起的，而是由预期功能引起的是被明显排除在外的。
另外，系统行为是靠学习而来的，不是靠明确的代码设计保证的，这些系统行为相对与预期行为的限制（ limitations in the intended functionality）而言是非常脆弱的。因为，人们很难准确了解，系统利用深度神经网络( deep neural networks )和支持矢量状态机(support vector machines )的机器学习(Machine learning ) ，学习出了什么。
某个OEM建了一条实验道路A，然后自动驾驶车辆学习如何在道路A上安全行驶。然后，OEM建了一条与A一样的道路B，在道路A上安全行驶的车辆却没办法在道路B上安全行驶。后续调查发现，自动驾驶车学习了道路A两旁广告牌内容。因为，道路B两旁广告牌内容与道路A不同，自动驾驶在道路A上学习的行为没办法应用在道路B上。
准确理解机器学习系统的学习成果被称为模型解释（model interpretability）。然而，Lipton在《The Mythos of Model Interpretability》中指出这个术语并没有定义的很好，并给出了一些可能的理解。他还指出欧盟的法律规定，任何被算法决策影响(affected by algorithmic decisions)的个体( individuals )都有权力了解决策的过程。这为理解机器学习在安全方面的成果又增加了一条法律上的必要性要求(legal necessity )。
所以，由于机器学习的不确定性以及功能安全26262标准本身的限制，是没办法靠26262来约束基于机器学习的自动驾驶系统的，这方面需要引入新的方法路如SOTIF，后续文章持续更新这方面的内容。