AI模型训练数据准确性和输出统计精确度

本文主要关注的是生成式AI模型输出结果如何符合准确性原则，以及训练数据的准确性对输出的影响。英国信息专员办公室ICO 初步认为，对于准确性的要求需要依据模型的使用目的来确定。这同如何落实数据最小化原则和目的限制原则一样，还是看模型使用目的！

一、准确性原则在GDPR中的定义

Article 5(1)(d) of the GDPR：

“1. Personal data shall be: (d) accurate and, where necessary, kept up to date; every reasonable step must be taken to ensure that personal data that are inaccurate, having regard to the purposes for which they are processed, are erased or rectified without delay (‘accuracy’)”

准确性是GDPR的基本原则之一。这一法律原则要求数据控制者确保处理的个人数据“准确，必要时保持最新”，并“采取一切合理的步骤……确保在处理目的的范围内，个人数据不准确时应立即删除或更正”。

二、AI 模型训练数据准确性和输出结果统计精确度

个人数据保护概念中的准确性，即关于某个人的个人数据是否正确和及时更新。但在AI模型场景下，仅考虑数据本身的准确性还不够。此时AI模型输出结果准确性同样对个人权益影响重大。AI工程师在统计建模中使用准确性来指代AI系统精确度。因此，本文讨论包括两个维度：AI 模型训练数据的准确性和模型输出结果的统计精确度。

三、个人数据一定都要准确吗？

ICO指出，个人数据并不一定需要准确无误。在某些情况下，个人数据并不需要保持最新状态。个人数据是否需要准确取决于处理的目的：在某些情况下，处理过时或不准确（如本身错误的观点）的信息是合理的。

在某些情况下，数据控制者甚至不需要更新信息以保持数据的准确性。例如，如果仅出于统计、历史或其他研究目的而持有个人数据，更新数据则可能会破坏该目的。

另外，数据控制者可以合理地依赖个人在数据发生变更时主动告知，例如当地址或其他联系信息变化时。定期要求个人更新自己的信息可能是推荐的做法，但ICO不建议采取极端措施确保个人的记录是最新的，因为这可能过度收集个人数据或者增加隐私风险。

四、 如何确保训练数据准确性

模型训练数据可能是直接收集或者从第三方获取。为了避免收集数据不准确建议：

• 如果是直接收集，准确记录个人提供的数据，例如利用下拉框选项而不是文本输入方式，减少个人输入过程中的错误，或者其他验证机制提高数据收集过程中的准确性；

• 准确记录数据来源；

• 在具体情况下采取合理的步骤确保数据更新过程中的准确性；

• 而且要仔细考虑任何影响数据准确性的挑战，并采取措施以应对挑战。

  ‍

“合理的步骤或者措施”将取决于具体情况，特别是个人数据的性质以及将如何使用数据。个人数据越重要越敏感，就应该越努力确保其准确性。因此，如果正在使用数据来做出可能对相关个人或他人产生重大影响的决定，就需要更加努力地确保其准确性。

**保证模型训练数据的准确性是训练高质量AI模型的关键。**以下是一些通用技术方法供参考：

1. 数据清洗：

• 去除噪音：删除明显的错误、重复和无关的数据。

• 处理缺失值：填补、删除或忽略缺失值，根据情况选择合适的方法。

  ‍

2. 数据验证：

• 手动检查：对样本数据进行人工审查，确保其正确性。

• 自动化检测：使用脚本或工具进行自动化的异常检测。

3. 数据标注：

• 多重标注：同一数据由多个人标注，利用一致性检查来提高准确性。

• 专业标注员：对于复杂领域的数据，使用具有专业知识的标注员。

  ‍

4. 数据源选择：

• 可靠来源：选择来自可信和高质量来源的数据。

• 多样化来源：从多个独立的来源获取数据，以减少偏见和错误。

  ‍

5. 数据版本控制：

• 记录变化：保持数据集的版本控制，记录每次修改和更新的原因。

• 可追溯性：确保可以追溯到数据的原始来源和修改历史。

  ‍

6. 定期审查：

• 周期性检查：定期重新审查和更新数据，确保其与最新的标准和实际情况保持一致。

• 用户反馈：根据模型实际应用中的反馈，不断改进和优化训练数据。

  ‍

7. 使用验证集：

• 交叉验证：将数据集划分为训练集和验证集，利用验证集评估模型性能，确保训练数据的代表性和准确性。

通过以上方法，可以显著提高模型训练数据的准确性，从而提升模型的性能和可靠性。

五、如何确保AI模型训练结果的精确性

对于生成式AI模型来说，首先考虑训练数据对输出的影响，其次是输出将如何被使用。如果不准确的训练数据导致了不准确的输出，或者模型训练统计精确度低，最终导致输出对个人有影响，那么开发者和部署者可能都没有遵循准确性原则。例如，如果用户错误地依赖生成型AI模型提供的信息，可能会产生负面影响，如声誉受损、财务损失和传播错误信息。

但是生成型AI模型的输出必须准确吗？

这个问题只有在首先考虑基于生成式AI模型的应用目的是什么之后才能得到回答。

开发和使用具有纯粹创造性目的的生成型AI模型不太可能需要将确保输出准确性作为其首要任务，例如绘画、编写小说，创意和新颖性比准确性更重要。但是随着生成型AI模型越来越多地用于对人的决策，或者越来越多地被其用户作为信息来源而不是灵感来源，那么在设计和测试模型时，准确性就应该成为核心原则。

此外，正如ICO在关于人工智能和数据保护的指导方针所明确指出的，准确性原则并不意味着生成式AI模型的输出必须达到100%的统计精确度。AI系统统计精确度水平取决于模型的使用方式，取决于是否模型针对个人／群体做出什么样的决策。对个人权益的影响越高，则需要较高的统计精确度。例如，模型用于筛选审批贷款额度或者是否聘用。

确定模型输出结果的统计精确性通常涉及以下技术方法，供参考：

1. 定义评估指标：

• 分类模型：常用指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1 Score）、ROC曲线下面积（AUC-ROC）等。

• 回归模型：常用指标包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、决定系数（R²）等。

  ‍

2. 分割数据集：

• 训练集和测试集：将数据集分成训练集和测试集，训练集用于训练模型，测试集用于评估模型性能。

• 交叉验证：使用交叉验证（如k折交叉验证）方法，多次重复数据集的分割和训练，减少因单一数据集分割带来的评估偏差。

  ‍

3. 构建混淆矩阵：

• 对分类模型，构建混淆矩阵可以直观地展示模型在不同类别上的预测性能。

4. 计算指标：

• 通过测试集上的实际输出和模型预测结果，计算预先定义的评估指标。

• 使用交叉验证时，计算每次验证的指标并取平均值，以获得更稳定和可靠的评估结果。

  ‍

5. 置信区间：

• 计算评估指标的置信区间，确定指标的统计置信度，量化不确定性。

• 常用的方法有Bootstrap抽样方法和标准误差计算。

  ‍

6. 统计检验：

• 对比不同模型或同一模型在不同数据集上的表现时，可以使用统计检验方法（如t检验、Mann-Whitney U检验）来判断差异是否显著。

  ‍

7. 评估真实数据：

• 通过模型在实际应用中的表现来进一步验证其统计准确性。

• 收集用户反馈和真实世界数据，持续监控和改进模型。

8. 误差分析：

• 分析模型输出的错误案例，找出模型的弱点和不足，进一步优化和调整模型。

• Ÿ通过这些步骤，可以系统地评估模型输出结果的统计精确性，确保模型在不同情况下都能保持较高的性能和可靠性。

  ‍

  ‍

六、目的与准确性之间的联系

如前所述，决定生成式AI模型输出精确度的关键因素是该模型的特定用途。因此，确保模型的最终应用与其准确性水平相适应的清晰披露对于开发者、部署者和最终用户来说至关重要。

如果模型的统计精确性不足，开发者为其设想的应用目的也不需要准确性，那么开发者应采取技术和组织控制措施，确保该模型不被用于需要准确性的用途。这可能包括在部署者与客户签订的合同中包含限制使用类型的合同条款，或者分析客户在通过API访问模型时的使用情况（当模型被访问／调用时）。

开发者还应评估和披露所谓的“幻觉”的风险和影响，即不正确和意想不到的输出。这些输出可能由于生成式AI模型的随机性而产生。如果没有相应的评估和披露机制来评估和传达不准确性的可能性和影响，用户可能会错误地依赖生成式AI工具提供的信息，而实际上模型在胡说八道。

总的来说，当基于生成式AI模型的应用程序面向个人使用者时，监控模型的被使用的场景尤为重要。开发者和部署者都需要仔细考虑并确保模型不被超出其准确度水平的方式使用。这可能包括：

• 披露关于应用程序统计准确性的清晰信息，以及关于适当使用的易于理解的信息；

• 通过分析用户查询数据或监控用户公开共享的输出来监控用户生成的内容。

  ‍

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】