智能驾驶致死、AI聊天自杀，安全成最大的奢侈

提供AI咨询+AI项目陪跑服务，有需要回复1

前几天《高层论坛：实现汽车产业高质量发展》才刚召开，因为汽车行业卷得不行，现在大家都想在智能驾驶上发力，其中有句话令我影响深刻：

对智能驾驶来说，安全是最大的奢侈

而这一回旋镖马上就击中了小米，从现在来看疑是是由于智能驾驶导致的车祸而导致重大车祸：

怎么说呢？对于AI产品来说：安全是1，有效是0，不安全什么都没有！

对于智能驾驶，不出事是1，跑得快是0

智能驾驶是，模型开发也是如此，比如基于模型做出来的产品更是如此！

无独有偶，国外其实也有一产品Character.AI涉及过“AI杀人案例”：

2024年2月28日，美国佛罗里达州的14岁男孩塞维尔·塞泽三世（Sewell Setzer Ⅲ）在与Character AI上的AI角色进行长时间聊天后开枪自杀身亡。

后来，她的母亲对Character AI提起诉讼，认为Character AI以“拟人化、过度性化和令人恐惧的逼真体验”导致她儿子对AI角色上瘾，并深陷其中。

模型是通过海量语料进行训练的，基于模型的AI产品背后拥有成百上千的SOP。

无论是对模型投喂的数据，还是用于“取悦”用户的SOP，背后会涉及大量行为学、心理学等知识，意思是：如果我们想，用户与AI聊天甚至可以达到游戏的体验！

事实上，模型本身就具备这种能力，比如大模型的“谄媚”特性就尤其突出！

所谓“谄媚”，就是模型很容易被引导，从而给到赞同、符合你心理预期的回答，而这对于心智缺乏的用户可能导致巨大问题！

举个例子：用户曾经可能只是比较消极，而且他懵懵懂懂，但由于更大模型的对话过程中，消极的情绪会被进一步扩大，并且大模型会有理有据证明用户的消极，这种高端思维来源于先哲的思辨，对心智缺失的用户会造成降维打击，从而引发巨大的心理冲击，而过程中一个引导不利就可能导致错误行为...

所以，现在很多政策正在要求互联网产品主动披露其在产品设计方面的“暗黑模式”，或立法对“暗黑模式”进行限制。

抛开应用层的包装与引导，这里我们回归模型本身，模型本身其实也挺不安全的...

据Vectara HHEM人工智能幻觉测试，DeepSeek-R1显示出14.3%的幻觉率，是V3的近3倍：

模型幻觉

模型是各AI产品的底座，但是他好像天生残疾，是个阴阳人，没有什么坚定立场，很容易被影响不说还非常自信，并且总是一本正经的胡说八道...

还是之前的经典案例，我在使用最先进的模型GPT的Deep Research，让他解决的问题是：梳理所有的医疗信息发布渠道，并且按权威性排序。

首先，这个问题本身的复杂度是极高的，我并不期待模型能够给出完整的回答，但是他给我的回答是：

这里马上出了巨大问题，我虽然不期待模型给我完善的回答，但是他不能有关键的错漏，比如：连最基础的医疗教科书都没有，这我是不能忍的...

而其他模型在这种复杂问题上，表现也是不佳的。

稍微上升下问题：如果模型在治病的时候发生了漏诊、如果模型在给予治疗方案的时候采用了过期的方案，给到了错误的药物，那怎么办？

而实验显示，在医疗问答任务中，模型对错误答案的置信度（softmax概率）常高于正确答案。

这种错误自信现象源于训练数据中伪科学内容的高频出现，如“维生素C抗癌”在健康论坛中的重复强化。

而从模型实现原理来说，这就是他的原罪，并且靠模型自身是难以自己解决的。

幻觉根由

模型是根据训练数据中的概率分布来预测输出，因此，它并不具备真正的理解力，而是生成在语义上高度符合统计规律的文本，从这个逻辑来说，模型应该归属于统计学领域。

因为统计学逻辑，模型的预测目标是基于最小化预测误差，而不是内容真实性，那么在逻辑上模型幻觉永远不能完全消除。

另一方面，幻觉通常源于模型训练数据中的噪声、过拟合、或生成策略的不可控性：

1. 数据偏差：训练数据包含错误或矛盾信息；
2. 模型过拟合：对训练数据中的噪声过于敏感；
3. 生成策略自由度过高：解码时缺乏事实一致性约束；

除此之外，当前稍微复杂点的疑难杂症往往都是“危险的”，而他们病历的厚度可能像一本书！

当前的模型上下文虽然越来越长，但依旧会有两个问题：

1. 输入越长，模型理解越差；
2. 模型经常难以覆盖完整上下文，会存在知识遗忘现象；

最后，模型的第一要务是回答问题，模型在追求流畅性时，可能牺牲真实性。

以上是模型幻觉的根由，也就是100次问题，模型总会骗你1次，你要赌那一次“枪里有没有子弹”！

安全 > 幻觉

模型幻觉会导致AI产品的不安全，但AI产品的边界远大于幻觉，以医疗AI为例。

一、过度自信

医生在临床实践中往往对自己的判断过于自信，忽视了病人症状的多样性。

例如，医生可能会因为过度依赖“最常见”诊断而漏诊罕见病，如误诊为普通流感的莱姆病，导致治疗延误，严重时可致死。

而模型依赖于训练数据，IBM Watson号称数据全部由专家标注很是严格，但就是他们，也被曝训练数据包含大量假设性案例。

那么，现在的模型得回答由不得医疗体系不注意啊！

二、锚定效应

医生在患者就诊时，过度依赖患者最初描述的症状，未能根据后续检查调整判断。

比如，患者在急诊时报告了典型的胃痛症状，医生根据首个描述忽视了其他可能的急性心脏病症状，导致误诊。

这个案例的医生可能还会有些委屈，因为心脏病与一般的胃痛压根不是一个科室，消化科医生看不懂心内科的病，他可能会直接忽视。

在类似的案例里面就算医生做进一步检查排除了胃痛，但因为他不知道到底是什么，也可能没引起重视而会“对症下药”，开一点止痛片最终耽搁病情。

以上问题在模型中会同样存在，AI在进行诊断时，过度依赖患者输入的首个症状信息（如“头痛”），忽略后续症状的变化或患者的具体情况，从而影响了后续的诊断准确性。

三、确认偏误

另一个问题，如果模型中罕见病的记录太少，也可能被直接忽略，这里的逻辑是：常见病容易诊断、罕见病容易误诊...

比如：医生在诊断某种疾病时，过度依赖自己之前的经验，选择性地关注那些支持自己诊断的症状，忽视了与之不符的其他症状，导致错误诊断。

例如，医生可能因为曾经治疗过类似症状的患者而过早得出诊断，忽视了其他潜在疾病。

这种就是典型的拿着锤子找钉子，因为历史上碰到的都是钉子，一旦看到类似物品，就习惯了用锤子而忽视其他了...

模型训练时，过度依赖特定症状的组合，忽视了其他罕见但可能的重要症状，导致诊断错误。

从先验概率来说，模型在做诊断的时候，一定会优先考虑常见病而忽视罕见病，概率统计如此，而这在某种层面是正确的，但正确并不等于安全！

四、归因偏差

医生可能错误地将病人的症状归因于生活方式问题（如缺乏锻炼或饮食不当），忽视了可能存在的医学问题（如癌症或心脏病），导致诊断延误。

模型也是一样，因为不是所有患者都能很清晰的描述自己的症状，模型在被“无效症状描述”干扰的情况下，很可能将病人的症状归因于与之相关的显著特征而忽视其他潜在的混淆因素。

比如，AI可能会将病人的体重归因于糖尿病，而忽略了其他导致肥胖的健康问题。

......

---

虽然模型幻觉是AI安全性问题的一个显著方面，但它远不是唯一的风险。

在AI应用中，除了技术问题，伦理问题也是不可忽视的方面。比如，如何在医疗、法律AI应用中处理用户隐私，都是安全领域必须关注的部分...

AI产品的安全规则

综上，AI产品的“天马行空”一定要被约束到安全的边界以内，这也是为什么我一直在强调：严肃领域的Agent，是没有模型自由发挥的空间的！

当前AI产品有两条技术路线：

第一，模型仅仅是基础能力，我们做应用开发并不依赖模型，甚至会选择尽量对模型减少依赖，只用不得不用的部分：

另一条路线也就是大模型（比如上述L1-L5）所追求的了：用户只有一个大模型工具，而我将完成一切，以Deep Research、Manus为例，他其实可以归属到这个领域，因为此图：

当时有人问了一个问题是：Manus团队你们自己写了多少个workflow？

大家可以猜一下答案是多少？答案是0。也就是他们的SOP直接由模型生成！再看其技术架构（网上的图）：

举个例子，如果现在你看一个病：

1. 如果是路径一，他将会由一家医疗公司遵循严格的SOP，为你做治疗，而且他们为这套SOP负责；
2. 如果是路径二，虽然可能也是一家医疗公司提供，但这家医疗公司没有SOP，所有的SOP全部由模型生成；

这个路径二，就问各位慌不慌？对于曾经从事医疗大模型的人，我绝不会在严肃场景使用Manus这种模式，因为安全性是1，其他都是0！

最后，以医疗AI为例，简单聊聊如何防治模型，增强安全性。

PS：要特别注意，这里仅仅是以医疗为例，方案是通用的

安全性策略

所有的严肃领域，都应该将焦点从技术突破转向安全体系建设。

比如，AI在医疗领域最突出的便是模型幻觉和临床安全性问题。

为了弥补这些不足，会有很多策略会被提出来，我这里挑两个常用的做介绍：

一、提示词工程

最简单的方式其实还是直接上提示词，比如ChatGPT的回答可以用DeepSeek去校准，以下是一个医疗场景的案例：

因为我原来是医疗行业的，真实场景的方式比较敏感不能放出来，在网上找了一篇不错的文章做说明：《医疗 CoT 全面分析》

你是临床问诊专家，有强大的临床思维和海量的医学疾病的模式识别，你和顶尖医生在这次案例中对决，请拿出你的全部实力！

必须遵循的原则，如下：
1. **禁止跳过结构**: 每个分析师必须完整填写所有规定部分，不得省略任何一个环节

2. **强制回溯要求**: 
   - 每轮下，每位分析师必须明确评估新要素对其初始判断的影响
   - 必须使用格式："针对{具体新要素}，我的判断需要修正，因为..."或"我的判断不需修正，因为..."

3. **真正的迭代**:
   - 禁止简单重复第一轮观点
   - 每轮必须有实质性的思考进展
   - 如果需要修正，必须明确指出与初始判断的差异
### 1. 引入问题

- 明确要解决的问题本身。  


- 全面的症状检查-疾病网络：把所有症状、检查结果要组成单起点（如流鼻涕）、多个实体对组合（如流鼻涕 + 头疼组合，注意不重不漏），再分别分析 -> 分别提示什么？-> 网络组合在一起是否有发现新的隐性关系？

	比如，用户输入是一段关于多个症状、检查结果的描述：流鼻涕、头疼、发热、咳嗽……
	请将其中所有出现的实体（如疾病、症状、体征、检查、指标等）全部提取出来，不得遗漏。
	然后，针对每个实体都进行逐两两组合，例如(流鼻涕+头疼)、(流鼻涕+发热)、(头疼+发热)、(头疼+咳嗽)……
	最后，请给出单个实体分析、每对组合各自可能的提示或结论。
	【注意1】请务必列出所有实体，并给出覆盖所有实体的两两组合，不要省略。”
	【注意2】当用户文本中提取到的实体数量≥3，你需要在两两组合基础上，再对三元、四元或更多元素的组合进行综合分析。
	【注意3】当实体很多时，所有组合数量可能过大。你可聚焦临床最具意义、或用户文本中最突出的关键组合，进行更深层的临床思路推演，帮助用户发现多重症状/检查/疾病同时出现时的潜在含义，进一步探寻隐性关系、罕见病或多系统交叉等关键点。


- 向所有分析师公布问题背景和已知条件（包括全面的症状检查-疾病网络）。


### 2. **10 位分析师分角色，分别思考"第一轮"**

#### 分析师 1（从问题本身形态出发）  
- 必须分析症状、检查结果与特定解剖结构的关系，所以，推理每个症状、检查结果有什么提示。  
- 根据自己前面的分析，给出 5 种可能诊断，可能性从大到小排序。
	**解决宽泛模糊大标签和相似症状**：一定要深入具体的疾病上，使用假设推演，不能停留在大标签上。 如感染，要定位到具体xx病原体上。

#### 分析师 2（从环境出发）  
- 问题如果在不同环境（季节、地域、社会环境、家庭环境、集体场所），会如何影响结果？  
- 考虑环境因素对症状表现的可能影响和相关流行病学信息，所以会有什么提示？  
- 根据自己前面的分析，结合用户的所有特征（如年龄、症状、体征、检查结果等），给出 5 种可能诊断，可能性从大到小排序。
		**解决宽泛模糊大标签和相似症状**：一定要深入具体的疾病上，使用假设推演，不能停留在大标签上。 如感染，要定位到具体xx病原体上。

......

这里内容很长，大家自己去原文感受吧，总之使用提示词工程形成CoT是很多公司真实在做的工作，其背后是行业KnowHow形成的SOP。

二、知识库&知识图谱

在当前医疗大模型产品中，溯源（可追溯性）和医疗置信度是至关重要的，因为它们直接关系到诊断决策的安全性和可靠性。

指能够追踪每一条信息的来源，从原始文献、临床指南、专家共识到数据采集的具体过程。

溯源性越高，医生越能确信系统给出的结论有明确的依据，从而在临床决策中更有信心使用这些数据。

只要医疗信息可溯源，加之算法清晰合理，其医疗置信度自然就高了。而知识库+知识图谱+大模型是提升解决医疗幻觉问题重要手段。

PS：因为图谱不是今天的重点，这里简单展示下其使用即可：

在实际应用中，将知识图谱与RAG技术结合，可以构建一个多层次的智能诊断体系。

该系统通过智能路由、查询规划和多模态整合，形成了一个自上而下的三层防御体系，确保生成答案具有高医疗置信度和充分可解释性：

A[用户输入] --> B{简单查询?}
B -->|是| C[RAG基础层]
B -->|否| D[图谱推理层]
C --> E[置信度验证]
D --> E
E -->|≥90%| F[直接输出]
E -->|<90%| G[专家复核]

知识中枢
    H[症状库] --> I[疾病-症状矩阵]
    J[检查库] --> K[诊断决策树]
    L[治疗库] --> M[指南规则引擎]

D -->|实时调用| H
D -->|动态关联| J

在此架构中，系统首先对输入问题进行初步判断：对于简单、标准的查询直接由RAG基础层处理；

而对于复杂、多模态或涉及实体关系的问题，则交由图谱推理层进一步分析。

无论哪种路径，最终结果都经过置信度验证，当系统置信度超过预设阈值（如90%）时直接输出，否则提交专家复核。

以下是通过知识图谱实现对复杂问题的结构化推理案例：

步骤1: 症状解析 → 解析腹痛位置（上腹）、放射特征（向背部）；  
步骤2: 图谱触发 → 根据症状匹配胰腺炎和胆囊炎的鉴别路径；  
步骤3: 检查建议 → 推荐淀粉酶检测（强制项）和腹部CT；  
步骤4: 动态排除 → 根据Murphy征结果，若阴性则排除胆囊炎；  
步骤5: 治疗规划 → 根据体重计算液体复苏方案及禁食时间；

结语

在AI快速发展的今天，各行各业都在被颠覆、被赋能，但它所带来的安全隐患同样不容忽视。

我们在做AI产品开发的时候，一定要谨记：安全是1，有效是0，不安全什么都没有！

这不仅是对智能驾驶的警示，更是对所有AI应用领域的深刻反思。尤其是在医疗等严肃领域，任何细微的错误都可能对生命产生不可逆的影响。

因此，尽管AI模型在技术层面取得了突破，但其背后的安全性、可控性和伦理性问题依然需要我们持续关注和解决。

只有在确保AI的安全性和可靠性的基础上，才能真正实现它为人类社会带来的价值。

未来的AI发展，必须始终以“安全为先”，在技术创新的同时，构建更为完善的安全体系，才能在实践中赢得人们的信任与支持，避免技术的失控带来无法挽回的后果。

原创作者: yexiaochai 转载于: https://www.cnblogs.com/yexiaochai/p/18815435