功能安全-26262-理论到实践-基础-安全标准与认证- 机器学习和预期功能安全01

因为，在很多危险场景中，并没有功能失效。所以，安全分析不完全等同于失效分析。然而，现在的功能安全标准如ISO26262、EN5012x和IEC61508都是基于软硬件失效可能性造成的危险场景进行分析的。其中ISO26262在这方面的规定特别清楚，它定义的“功能安全”就是“系统没有电子电气系统故障行为引起的不合理风险absence of unreasonable risk due to hazards caused by malfunctioning behaviour of E/E systems”。如果这种风险不是故障行为引起的，而是由预期功能引起的是被明显排除在外的。
机器学习 Machine Learning如果，系统行为是靠学习而来的，不是靠明确的代码设计保证的，这些系统行为相对与预期行为的限制（ limitations in the intended functionality）而言是非常脆弱的。因为，人们很难准确了解，系统利用深度神经网络( deep neural networks )和支持矢量状态机(support vector machines )的机器学习(Machine learning ) ，学习出了什么。某个OEM建了一条实验道路A，然后自动驾驶车辆学习如何在道路A上安全行驶。然后，OEM建了一条与A一样的道路B，在道路A上安全行驶的车辆却没办法在道路B上安全行驶。后续调查发现，自动驾驶车学习了道路A两旁广告牌内容。因为，道路B两旁广告牌内容与道路A不同，自动驾驶在道路A上学习的行为没办法应用在道路B上。准确理解机器学习系统的学习成果被称为模型解释（model interpretability）。然而，Lipton在《The Mythos of Model Interpretability》中指出这个术语并没有定义的很好，并给出了一些可能的理解。他还指出欧盟的法律规定，任何被算法决