基于大模型进行数据分类分级实操指南

最新推荐文章于 2025-02-12 14:28:53 发布

小马不会过河

最新推荐文章于 2025-02-12 14:28:53 发布

阅读量1.4k

点赞数 22

文章标签：大数据人工智能数据库 python 开发语言金融

本文链接：https://blog.csdn.net/m0_59163425/article/details/145400208

版权

当前，数据安全与合规性的重要性愈发凸显。如何根据数据的敏感程度进行分级，并配套相应的安全管控措施，是所有数据从业者必须面临且亟需解决的重要课题。

大模型能够理解和生成自然语言，拥有超乎想象的上下文推理能力，因而也能帮助我们更为自动化、智能化地完成一些原本复杂而繁琐的任务。对数据做敏感等级的划分，就是典型的可借助大模型来完成的工作之一。

本文将聚焦“基于大模型进行数据库中表字段敏感等级划分”，通过详实的案例展示具体实操过程，以及在此过程中需要关注的难点与要点。

一、数据敏感等级划分的基础概念

在进入大模型实操之前，我们需要先厘清数据敏感等级划分的一些核心概念和常见做法。通常而言，企业或组织会根据国家或行业的合规标准，并结合自己的业务场景，为内部数据设立一套数据分级规范。以下是一个常见的敏感数据分级示例（仅供参考）：

1、公共级（Public）

定义：可以对外公开，无需任何授权即可访问，对组织或个人几乎不构成威胁和风险。
示例：公司对外发布的新闻稿、产品宣传资料、官方网站上公开的项目信息等。

2、内部级（Internal）

定义：仅在企业或组织内部使用，不对外公开；一旦被非法获取，影响范围较小，对企业或个人危害有限。
示例：企业内部报表（不包含敏感信息）、内部培训资料、一般业务规则说明文档等。

3、敏感级（Sensitive）

定义：属于组织或个人高度相关的信息，若被非法访问或泄露，会对业务或个人带来较严重的影响和风险。
示例：包含个人敏感信息（姓名、身份证号、邮箱、手机号码等）的字段、交易数据（可能包含财务信息、业务策略等），或涉及客户隐私信息的业务数据字段。

4、机密级（Confidential）

定义：对企业或个人极为关键，一旦泄露或篡改可能造成重大损失甚至威胁组织生存，通常需要使用最严格的安全管控措施。
示例：尚未公开的公司财报、核心算法数据、商业机密文档、客户极敏感隐私数据（医疗、基因信息、指纹、面部特征等）。

在实际应用中，不同企业或组织会基于自己的合规和风险需求，制定更加细化或更简化的分级层次。无论采用何种分级方式，核心的理念都离不开：越敏感的数据就应当被划分到更高的级别，需要更严格的安全管理和访问控制。

二、为什么要使用大模型来进行字段敏感等级划分

1、手工判定的痛点

在传统模式下，给数据库中的表字段进行敏感等级划分往往是通过人工梳理字段含义的方式完成的。通常由数据治理人员或表所属业务部门员工，对每个字段的业务含义进行解读，进而判断其敏感度，给出相应的分级结论。然而，在面对以下挑战时，手工判定的模式往往效率低下、成本高昂：

（1）字段数量庞大

大型企业的数据仓库往往包含成千上万个表、数十万甚至上百万个字段，逐一人工审查几乎不可能在短时间内高质量完成。

（2）字段命名不规范

数据的开发和使用历史悠久，随着人员流动和业务演进，不同开发人员的字段命名风格不一，大量字段名并不能直接透出真实含义，导致人工判断更加困难。

（3）需要业务背景深度理解

某些字段只有在结合业务逻辑或上下文之后才能真正理解其含义，一个缺乏该业务背景的人难以准确判断字段的敏感度。

（4）错误率和一致性难保证

依赖人工的判定过程非常容易受主观偏见和疏忽影响，不同参与者之间口径不一，导致结果缺乏一致性。

2、大模型赋能的优势

大模型擅长自然语言处理与上下文理解，特别是在文本分类、实体识别、语义理解等方面表现卓越。因此，大模型可以很好地帮助我们完成以下工作：

（1）自动化处理大规模数据

大模型可以快速对大批量字段名、字段注释及关联的业务信息进行语义分析，在极短时间内产出结果。

（2）上下文理解

通过在海量文本中预训练，大模型可以更好地理解一些行业通用字段或术语背后的含义，一定程度上弥补不同人员的经验偏差。

（3）统一的标准化输出

我们可以在提示或规则中设定企业统一的敏感等级定义，让大模型在执行分类时，始终对标这一套定义，从而保持判定结果的一致性和可控性。

（4）易于迭代优化

一旦大模型的提示模板和分类规则形成了一个成熟的流程，我们就可以快速对新增字段或已有字段做分类更新，大幅提升数据分级的灵活性和效率。

三、基于大模型进行敏感等级划分的整体流程概述

为了更好地阐述具体的落地实践，我们可以把整个过程分解成以下几个主要阶段：

1、准备工作：收集和整理字段信息

从元数据（比如Hive ）中导出所有表的字段信息，包括字段名、字段类型、字段注释、所属表名、所属数据库名等。
若可能，尽量补充字段的业务含义说明、字段的上下文信息等。

2、建立分类规则和提示模板

根据企业（或组织）既定的敏感等级划分标准，编写一份说明文档，把每个等级的定义和判定标准描述清晰。
设计对大模型的提示（prompt），以让模型理解如何根据字段信息判断其敏感等级。

3、调用大模型并进行结果生成

将每个字段的相关信息，连同敏感度分级规范的摘要，输入到大模型。
让大模型输出该字段的敏感等级标签、理由和置信度。

4、审核与调整

将大模型给出的分类结果与实际业务要求进行比对，并对明显的误判进行人工修正，或反馈至大模型进行再推理（如果模型支持多轮交互）。
在这个阶段，也可以对大模型的提示模板进行完善或优化。

5、结果落地与后续管理

将最终审定的结果写入到数据资产管理系统或数据血缘管理工具。
对敏感度高的字段进行后续的安全管控和技术支持，如脱敏、访问权限限制等。

四、详细实操指南

为了帮助读者更深入地理解如何在企业级场景下利用大模型划分表字段的敏感等级，我们将构造一个接近真实的业务背景，包含多个数据库与多张表，并且各表中的字段名称、类型及注释与实际工作场景相仿。

本文将分步骤展示如何提取字段信息、如何编写提示（Prompt）、如何调用大模型以及如何对结果进行人工审核调整，并最终将结果落地到企业的数据治理流程中。

1、案例背景与业务场景介绍

为使案例更具代表性，本文将模拟一家提供综合金融服务的科技公司（以下简称“FinTech 公司”）。这家公司业务横跨个人贷款、数字营销、用户管理、在线客服支持等多个板块，因而具有多种不同性质的数据库和数据表。随着数据量与业务规模的不断扩张，FinTech 公司需要对各类数据库表字段进行统一的敏感等级划分，以便后续进行更严格、更合规的数据安全与访问管理。

为便于展示，我们选取了公司内部 4 个常见的数据库，分别是：

贷款数据库（loan_db）
用户数据库（user_db）
营销数据库（marketing_db）
客服运维数据库（ops_db）

接下来，我们将列出每个数据库中的若干示例表，以及这些表中具备代表性的字段。

（1）贷款数据库（loan_db）

表名：loan_application（个人贷款申请表）
典型字段如下：

（a） application_id（bigint）

含义：贷款申请的唯一主键
注释：自增 ID，用于标识一次申请

（b） applicant_id（string）

含义：与用户数据库中用户表关联，用于标识是谁发起的贷款申请
注释：在 userdb.userprofile 中找到对应用户信息

（c） id_card_number（string）

含义：申请人身份证号
注释：用于身份核验，属于国家身份证件信息

（d） loan_amount（decimal）

含义：用户申请的贷款金额
注释：会用于审批判断

（e） loan_purpose（string）

含义：贷款用途描述，如“购房”、“购车”、“装修”等
注释：可能反映用户的资产及消费意图

（f） credit_score（int）

含义：由第三方征信或内部风控系统给出的信用分数
注释：风控指标，用于审批参考

（g） approval_result（string）

含义：贷款审批结果，如“APPROVED”、“REJECTED”、“REVIEWING”等
注释：决定最终是否发放贷款

（2）用户数据库（user_db）

表名：user_profile（用户基础信息表）
典型字段如下：

（a） user_id（string）

含义：用户的唯一标识
注释：与其他数据库的关联主键

（b） real_name（string）

含义：用户真实姓名
注释：需要与身份证号信息进行核验

（c） id_card_number（string）

含义：用户身份证号
注释：与贷款申请表中相同字段相互对应

（d） phone_number（string）

含义：用户的手机号码
注释：常作为联系和验证方式

（e） home_address（string）

含义：用户的家庭住址
注释：可涉及地理位置信息与个人隐私

（f） bank_account_no（string）

含义：用户银行账号
注释：用于放款、还款或资金流转

（g） emergency_contact（string）

含义：紧急联系人信息
注释：可能含有另一人的姓名和联系方式

（h） create_time（timestamp）

含义：用户注册时间
注释：仅作系统记录

（i） update_time（timestamp）

含义：用户信息最后更新的时间
注释：仅作系统记录

（3）营销数据库（marketing_db）

表名：campaign_table（营销活动表）
典型字段如下：

（a） campaign_id（bigint）

含义：营销活动的唯一主键
注释：自增 ID，用于标识一次活动

（b） campaign_name（string）

含义：营销活动名称
注释：如“双十一优惠促销”、“老客返利计划”等

（c） channel_type（string）

含义：投放渠道，如“APP PUSH”、“短信”、“邮件”、“社交媒体”等
注释：对用户进行营销触达的方式

（d） target_audience（string）

含义：目标受众或人群标签
注释：例如“高活跃度老用户”、“信用分 600-700 区间用户”等

（e） budget（decimal）

含义：本次活动预算
注释：通常用来核算 ROI

（f） start_time（timestamp）

含义：活动开始时间

（g） end_time（timestamp）

含义：活动结束时间

（h） ctr（float）

含义：点击率（Click-Through Rate）或转化率等指标
注释：营销效果评估指标

（4）客服运维数据库（ops_db）

表名：support_ticket（客服工单表）
典型字段如下：

（a） ticket_id（bigint）

含义：客服工单的唯一主键
注释：自增 ID

（b） user_id（string）

含义：发起工单的用户标识
注释：可与 userdb.userprofile.user_id 对应

（c） issue_category（string）

含义：问题类型，如“账户登录问题”、“还款异常”、“信息修改”等
注释：可能间接透露用户行为或偏好

（d） issue_description（string）

含义：用户提交的工单具体描述
注释：在真实场景下可能包含隐私或敏感细节

（e） resolution_time（timestamp）

含义：客服问题解决时间
注释：用于考核客服效率

（f） agent_id（string）

含义：客服处理人员的工号或 ID
注释：在内部系统可以匹配到客服人员信息

（g） priority_level（string）

含义：工单优先级，如“LOW”、“MEDIUM”、“HIGH”等
注释：此字段本身可能不敏感，但能反映内部处理策略

接下来，我们将基于这些表和字段，带大家完整体验一次“如何使用大模型进行敏感等级划分”的实操流程。

2、准备工作

2.1 提取所有字段的元数据信息

在真实业务环境里，一般会从元数据管理系统、Hive 元数据、数据目录工具或数据血缘管理系统中，批量导出字段相关信息。若没有上述工具，也可通过脚本直接访问底层元数据表（如 TBLS, COLUMNS_V2 等）或使用 information_schema（不同数据库可能略有差异）。

最终，我们期望得到一个如 CSV 或 JSON 格式的输出，包含下列信息：

database_name：数据库名称（例如：loandb, userdb, marketingdb, opsdb）
table_name：表名称（例如：loanapplication, userprofile, campaigntable, supportticket）
column_name：字段名称（例如：userid, idcard_number, etc.）
data_type：字段类型（bigint, string, decimal, timestamp 等）
comment：字段注释或简要说明（如果能拉取到）

以下是一段示例 CSV（仅做截取，真实场景可能有上百或上千行）：



1.  `database_name,table_name,column_name,data_type,comment`
    
2.  `loan_db,loan_application,application_id,bigint,贷款申请唯一ID`
    
3.  `loan_db,loan_application,applicant_id,string,用户ID`
    
4.  `loan_db,loan_application,id_card_number,string,身份证号`
    
5.  `loan_db,loan_application,loan_amount,decimal,申请贷款金额`
    
6.  `loan_db,loan_application,approval_result,string,审批结果`
    
7.  `user_db,user_profile,user_id,string,用户唯一标识`
    
8.  `user_db,user_profile,phone_number,string,手机号`
    
9.  `user_db,user_profile,bank_account_no,string,银行账号`
    
10.  `marketing_db,campaign_table,campaign_id,bigint,营销活动唯一ID`
    
11.  `marketing_db,campaign_table,channel_type,string,投放渠道`
    
12.  `ops_db,support_ticket,issue_description,string,工单问题描述`
    
13.  `ops_db,support_ticket,agent_id,string,客服ID`
    
14.  `...`

在后续步骤中，我们会使用这份元数据文件作为输入，逐条调用大模型。

2.2 编写敏感等级定义文档

结合企业自身或监管要求，事先确定一份敏感等级定义文档，以让大模型有清晰的参照标准。示例可参考如下四个等级：

（1）PUBLIC（公共级）

可对外公开的数据，或即使泄露也不会对个人或企业带来显著负面影响。
示例：对外宣传资料、无需权限的通用统计数据。

（2）INTERNAL（内部级）

仅限组织内部使用，对外不公开；泄露会给公司带来一定风险和不便，但尚不至于造成重大损失。
示例：内部运营报表、一般配置数据、字段含义为纯业务属性且与个人隐私无关等。

（3）SENSITIVE（敏感级）

包含个人隐私信息、关键财务或商业信息，一旦泄露会对个人或企业造成较大影响。
示例：姓名、手机号、用户行为数据、订单金额、信用评分等。

（4）CONFIDENTIAL（机密级）

企业或个人的最核心或机密信息，若泄露可能造成严重后果，如经济损失、法律风险或品牌声誉受损。
示例：身份证号、银行账号、基因数据、尚未公开的核心商业机密等。

需要注意的是，这份定义文档应当在企业内部达成共识，并且在提示大模型时要能够简明扼要地陈述或引用其中的关键要点。

3、大模型分类流程与提示模板设计

3.1 大模型分类流程概述

在技术实现层面，我们通常会准备一个脚本（常见于 Python），其中包含以下主要流程：

（1）读取元数据文件：逐行读入每一个字段信息。
（2）构造 Prompt：针对每一行字段信息，向大模型提交一个针对性的输入（Prompt），并附上简要的敏感等级定义参考。
（3）获取大模型输出：大模型返回该字段对应的敏感等级与简短的解释理由。
（4）保存结果：把大模型的输出写入结果文件或表中。

3.2 提示模板示例

下面是一段示例 Prompt 的伪代码或大纲，用来指导大模型对字段进行分类。为了增强模型的理解，我们会提供：1）字段的上下文信息；2）企业的敏感等级定义；3）统一的输出格式要求；4）示例案例辅助。



1.  `你是一位资深数据安全专家，熟悉金融行业以及数据敏感等级划分。`  
    
2.  `以下是我司定义的敏感等级标准：`  
    
3.  `- PUBLIC：可对外公开或泄露后影响极小`  
    
4.  `- INTERNAL：仅限组织内部使用，泄露会有一定风险但影响可控`  
    
5.  `- SENSITIVE：涉及个人隐私或商业敏感，一旦泄露影响较大`  
    
6.  `- CONFIDENTIAL：核心或机密信息，泄露可能导致严重后果`  
    

8.  `现在有一条来自Hive库的字段元数据信息：`  
    
9.  `- 数据库名：{database_name}`  
    
10.  `- 表名：{table_name}`  
    
11.  `- 字段名：{column_name}`  
    
12.  `- 字段类型：{data_type}`  
    
13.  `- 字段注释：{comment}`  
    

15.  `请根据以上信息，判断此字段最合理的敏感等级，并简要说明你的理由。`  
    
16.  `输出JSON格式，形如：`  
    
17.  `{`
    
18.    `"level": "PUBLIC/INTERNAL/SENSITIVE/CONFIDENTIAL",`
    
19.    `"reason": "简要解释"`
    
20.  `}`
    

22.  `请注意：如果该字段与个人身份、财务信息或业务核心机密直接关联，应判定为SENSITIVE或更高。若是普通业务字段且不涉及个人信息，则可考虑INTERNAL。对外可公开的统计字段可以归为PUBLIC。`

在实际生产环境中，可能会额外补充一些企业特有的业务规则、关键字提示（例如包含“id_card”、“phone”等关键字时更倾向 SENSITIVE/CONFIDENTIAL），来提高判定准确度。

4、案例中的实操演示

接下来，我们以具体字段为例，演示从输入到输出的完整流程。为了让场景更加接近真实，我们会挑选多个数据库和表中相对多样化的字段，展示大模型如何应对不同级别的数据。

4.1 示例

loan_db.loan_application.id_card_number

（1）输入（Prompt 中动态填充的部分）：



1.  `你是一位资深数据安全专家，熟悉金融行业以及数据敏感等级划分。`  
    
2.  `以下是我司定义的敏感等级标准：`  
    
3.  `- PUBLIC：可对外公开或泄露后影响极小`  
    
4.  `- INTERNAL：仅限组织内部使用，泄露会有一定风险但影响可控`  
    
5.  `- SENSITIVE：涉及个人隐私或商业敏感，一旦泄露影响较大`  
    
6.  `- CONFIDENTIAL：核心或机密信息，泄露可能导致严重后果`  
    

8.  `现在有一条来自Hive库的字段元数据信息：`  
    
9.  `- 数据库名：loan_db`
    
10.  `- 表名：loan_application`
    
11.  `- 字段名：id_card_number`
    
12.  `- 字段类型：string`
    
13.  `- 字段注释：身份证号`  
    

15.  `请根据以上信息，判断此字段最合理的敏感等级，并简要说明你的理由。`  
    
16.  `输出JSON格式，形如：`  
    
17.  `{`
    
18.   `"level": "PUBLIC/INTERNAL/SENSITIVE/CONFIDENTIAL",`
    
19.   `"reason": "简要解释"`
    
20.  `}`

（2）大模型处理与输出（示例）：



1.  `{`
    
2.   `"level": "CONFIDENTIAL",`
    
3.   `"reason": "身份证号属于个人核心隐私信息，若泄露将造成严重风险，因此应当划为机密级"`
    
4.  `}`

（3）解读

由于身份证号在我国属于最为敏感的个人身份信息，一旦泄露可能造成账户盗用、财务诈骗等严重后果，因此将其判定为 CONFIDENTIAL 属于合理范畴。

4.2 示例

user_db.user_profile.phone_number

（1）输入：



1.  `- 数据库名：user_db`
    
2.  `- 表名：user_profile`
    
3.  `- 字段名：phone_number`
    
4.  `- 字段类型：string`
    
5.  `- 字段注释：手机号`

（2）大模型输出（示例）：



1.  `{`
    
2.   `"level": "SENSITIVE",`
    
3.   `"reason": "手机号属于个人隐私信息，泄露后可能造成个人信息泄露或被骚扰，但一般不及身份证号的敏感程度高"`
    
4.  `}`

（3）解读

手机号虽不如身份证号核心程度高，但依然是个人隐私信息，且常被用于身份验证，因此归为 SENSITIVE 十分常见。

4.3 示例

loan_db.loan_application.loan_amount

（1）输入：



1.  `- 数据库名：loan_db`
    
2.  `- 表名：loan_application`
    
3.  `- 字段名：loan_amount`
    
4.  `- 字段类型：decimal`
    
5.  `- 字段注释：申请贷款金额`

（2）大模型输出（示例）：



1.  `{`
    
2.   `"level": "SENSITIVE",`
    
3.   `"reason": "贷款金额属于用户的金融数据，若对外公开会给用户和公司造成较大的潜在风险"`
    
4.  `}`

（3）解读

贷款金额涉及用户金融信息，与商业机密和个人资金安全有关，因此划分为 SENSITIVE。在部分风控严苛的企业中，也可能会升格为 CONFIDENTIAL，视公司策略而定。

4.4 示例

marketing_db.campaign_table.channel_type

（1）输入：



1.  `- 数据库名：marketing_db`
    
2.  `- 表名：campaign_table`
    
3.  `- 字段名：channel_type`
    
4.  `- 字段类型：string`
    
5.  `- 字段注释：投放渠道`

（2）大模型输出（示例）：



1.  `{`
    
2.   `"level": "INTERNAL",`
    
3.   `"reason": "此字段属于业务内部属性，泄露风险较小，但不宜对外披露"`
    
4.  `}`

（3）解读

投放渠道等字段通常不包含个人隐私，也非企业最核心机密，但依然属于内部运营信息，不适合对外公开。因而 INTERNAL 是一个合理判定。

4.5 示例

ops_db.support_ticket.issue_description

（1）输入：



1.  `- 数据库名：ops_db`
    
2.  `- 表名：support_ticket`
    
3.  `- 字段名：issue_description`
    
4.  `- 字段类型：string`
    
5.  `- 字段注释：工单问题描述`

（2）大模型输出（示例）：



1.  `{`
    
2.   `"level": "SENSITIVE",`
    
3.   `"reason": "工单详情中可能包含用户个人隐私或账号问题描述，若泄露会带来较大风险"`
    
4.  `}`

（3）解读

用户在工单详情里往往会描述涉及个人信息的情况，如账户异常、投诉内容、具体问题细节等。虽然字段名本身并不必然指向极核心隐私，但根据业务实际情况，它往往会包含大量个人或敏感业务信息，因此归为 SENSITIVE 更为稳妥。

通过以上 5 个示例字段，可以让我们大体感受到大模型的工作方式和输出结果的形式。在实际项目中，会有成百上千个字段需要判定，原则上流程是一致的。

5、批量调用与人工审核

5.1 批量处理的实现

在真实环境中，我们不会对每个字段手动去做一次 Prompt，而是需要编写脚本实现自动化批量处理。以下是一个简化后的 Python 伪代码示例思路：



1.  `import csv`
    
2.  `import requests`
    
3.  `import json`
    

5.  `API_URL = "https://api.your-llm.com/v1/predict"`
    
6.  `API_KEY = "YOUR_API_KEY"`
    

8.  `def build_prompt(db, table, column, dtype, comment):`
    
9.      `prompt = f"""`
    
10.      `你是一位资深数据安全专家，熟悉金融行业以及数据敏感等级划分。`
    
11.      `以下是我司定义的敏感等级标准：`
    
12.      `- PUBLIC：可对外公开或泄露后影响极小`
    
13.      `- INTERNAL：仅限组织内部使用，泄露会有一定风险但影响可控`
    
14.      `- SENSITIVE：涉及个人隐私或商业敏感，一旦泄露影响较大`
    
15.      `- CONFIDENTIAL：核心或机密信息，泄露可能导致严重后果`
    

17.      `现在有一条来自Hive库的字段元数据信息：`
    
18.      `- 数据库名：{db}`
    
19.      `- 表名：{table}`
    
20.      `- 字段名：{column}`
    
21.      `- 字段类型：{dtype}`
    
22.      `- 字段注释：{comment}`
    

24.      `请根据以上信息，判断此字段最合理的敏感等级，并简要说明你的理由。`
    
25.      `输出JSON格式，形如：`
    
26.      `{{`
    
27.        `"level": "PUBLIC/INTERNAL/SENSITIVE/CONFIDENTIAL",`
    
28.        `"reason": "简要解释"`
    
29.      `}}`
    
30.      `"""`
    
31.      `return prompt`
    

33.  `def call_llm_api(prompt):`
    
34.      `headers = {`
    
35.          `"Content-Type": "application/json",`
    
36.          `"Authorization": f"Bearer {API_KEY}"`
    
37.      `}`
    
38.      `payload = {`
    
39.          `"prompt": prompt,`
    
40.          `"max_tokens": 512`
    
41.      `}`
    
42.      `response = requests.post(API_URL, headers=headers, data=json.dumps(payload))`
    
43.      `return response.json()  # 假设接口返回结构化的JSON`
    

45.  `def main():`
    
46.      `with open("fields_metadata.csv", "r", encoding="utf-8") as infile, \`
    
47.           `open("sensitivity_results.csv", "w", encoding="utf-8", newline='') as outfile:`
    

49.          `reader = csv.DictReader(infile)`
    
50.          `fieldnames = ["database_name", "table_name", "column_name", "data_type", "comment", "model_assigned_level", "reason"]`
    
51.          `writer = csv.DictWriter(outfile, fieldnames=fieldnames)`
    
52.          `writer.writeheader()`
    

54.          `for row in reader:`
    
55.              `prompt = build_prompt(`
    
56.                  `row["database_name"],` 
    
57.                  `row["table_name"],` 
    
58.                  `row["column_name"],` 
    
59.                  `row["data_type"],` 
    
60.                  `row["comment"]`
    
61.              `)`
    
62.              `llm_result = call_llm_api(prompt)`
    
63.              `# 解析大模型返回结果`
    
64.              `assigned_level = llm_result.get("level", "INTERNAL")`
    
65.              `reason = llm_result.get("reason", "")`
    

67.              `output_row = {`
    
68.                  `"database_name": row["database_name"],`
    
69.                  `"table_name": row["table_name"],`
    
70.                  `"column_name": row["column_name"],`
    
71.                  `"data_type": row["data_type"],`
    
72.                  `"comment": row["comment"],`
    
73.                  `"model_assigned_level": assigned_level,`
    
74.                  `"reason": reason`
    
75.              `}`
    
76.              `writer.writerow(output_row)`
    

78.  `if __name__ == "__main__":`
    
79.      `main()`

在实际项目中，需要根据所使用的大模型 API 的具体格式进行调整，也可能要在请求中带入更多参数（如温度、top_p 等）以控制模型的输出稳定性。

5.2 人工审核与迭代修正

批量处理产生的结果不可能一次性 100% 准确。以下是常见的后续工作流程：

（1）异常值过滤

如果大模型返回的分级为空或不符合预期格式，则需要进行重新尝试或人工介入。

（2）高风险字段重点审查

对于大模型判定为 CONFIDENTIAL 或 SENSITIVE 的字段，应由安全部门或业务专家重点核对，确认无误后方能正式生效。

（3）多轮交互或规则反馈

如果发现大量“银行账号”类字段被误判为 INTERNAL，说明大模型对这个字段的重要性理解不足，可在 Prompt 中补充新的规则或关键字提示，再次进行重跑。

（4）记录日志与审计

在数据库或数据目录中记下修改记录，以便后续审计时能够追溯判定过程。

6、结果落地与持续管理

6.1 将敏感等级写入数据资产管理平台

当我们最终确认了每个字段的敏感度之后，往往会将这些标签同步到数据资产管理平台或元数据管理系统，比如增加一个 sensitivity_level 列，记录每个字段最终定级。这样做有几个好处：

（1）统一管理：让所有数据使用者都能通过统一的平台查询字段信息和敏感度。
（2）动态更新：如果下次重新运行大模型，或人工进行修订，可自动同步到平台，保证数据的一致性。
（3）权限控制：可以在资产管理平台中与权限管理系统结合，根据敏感等级自动设置访问限制或脱敏策略。

6.2 将敏感等级应用于访问控制与脱敏

真正的数据安全落地，需要将敏感等级与访问控制、脱敏等策略挂钩。例如：

（1）访问权限

只有具有相应权限或经过审批的角色才能访问 CONFIDENTIAL 级别的字段。
SENSITIVE 字段在某些场合可能仅提供部分权限（如仅限聚合查询、模糊查询等）。

（2）数据脱敏

对身份证号、银行账号等 CONFIDENTIAL 字段进行掩码处理（如仅显示后四位）。
对手机号等 SENSITIVE 字段采取中间部分脱敏（如 186**1234），避免全量暴露。

（3）日志与审计

对访问 CONFIDENTIAL 字段的操作进行重点审计，确保操作人员拥有合法授权。
定期审查访问日志，发现可疑行为时及时预警。

6.3 定期复审与合规

在敏感等级划分完成后，企业通常还需要进行周期性复审。原因包括：

业务演变：新的业务上线会增加新的字段；老的业务下线后，某些字段可能弃用，但仍需管理。
法规变更：外部监管政策、公司内控规范不断更新，需要重新审查并作出相应调整。
模型迭代：大模型本身在持续迭代，或我们对 Prompt 做出改进，也会导致判定结果发生变化。

通过定期检查、复审与合规审计，企业能够持续保障数据安全，并使整体数据治理体系保持良性发展。

五、潜在挑战与应对方案

在一个更接近真实的场景中，大模型敏感等级划分仍然面临诸多挑战，以下列举若干可能性，并给出应对思路。

1、字段无注释或描述模糊

有些字段在数据库中并没有注释或与业务无直接关联，导致大模型难以判断。
应对措施：
1）从代码仓库、需求文档、接口说明中挖掘潜在字段含义；
2）对常见字段名进行标准化或预翻译； 3）在 Prompt 中提醒模型进行合理猜测，但要做人工二次校验。

2、多语种与缩写混杂

在国际化公司或历史积累较久的系统中，字段名可能是英文、中文、拼音甚至自定义缩写。
应对措施：
1）构建字段名/缩写词典，用脚本事先替换或翻译；
2）在 Prompt 中加大上下文信息的提供，或对大模型进行微调，让其更能识别特定行业常用缩写。

3、业务逻辑复杂

某些字段可能只有结合上下文业务流程才能判定其敏感性，如“create_time”字段本身看似无隐私，但若在某应用场景中它能与个人行为进行强关联，也可能被视为敏感。
应对措施：
1）在 Prompt 中增加关于业务上下文的描述；
2）对识别出的边界字段进行人工深度审核。

4、对专业领域的理解不足

某些行业领域（如医疗、基因测序、金融衍生品等）中，一些字段含义较为复杂，大模型在通用语境下的理解可能有限。
应对措施：
1）基于行业文本对大模型做进一步的微调或训练，强化其在垂直领域的理解能力； 2）在提示模板中引入更详细的行业背景说明，并给出更多的示例； 3）与行业专家联合审核和校准结果。

5、大模型开销

当字段数目极多、调用次数高时，大模型的调用成本（时间和费用）也会变得不小。
应对措施：
1）对字段做初步过滤或关键字匹配，优先调用大模型判定疑似敏感的字段；
2）分批次进行大模型调用，或使用更轻量化的小模型做预分类，再将疑似高敏感的字段交给大模型深度判定； 3）优化 Prompt 的结构与调用策略，尽量减少冗余信息的传递。

6、合规与数据安全

当向外部商用大模型 API 提交字段信息时，须确保不传递过于敏感的真实数据或对数据进行脱敏处理；否则可能引发数据泄露风险。
应对措施：
1）只传递字段名、字段注释等有限信息，避免真正的用户数据；
2）与大模型供应商签订严格的数据安全协议，或使用内部私有化部署的模型。

六、总结与展望

6.1 关键收益

效率提升：面对成百上千张表和上万字段时，大模型自动化处理能极大减少人工成本。
一致性与可维护性：通过统一的 Prompt 和分级标准，大模型在同一套规则下工作，结果更加一致；并且后续升级规则也相对简单。
易于迭代：当业务规模或数据环境发生变化时，只需再次运行脚本、微调 Prompt 即可完成增量更新。

6.2 后续扩展方向

（1）与自动化数据血缘分析的结合

借助大模型理解数据血缘关系，把字段在各层数据流转中的用途与敏感度更精准地关联起来，从而形成“上下游”一致的分级策略。

（2）与实时监控和安全预警系统的结合

将大模型划分的敏感等级与数据访问日志、审计系统打通；当系统监测到有人访问高敏感字段时，自动触发安全警告或进行实时风险评估。

（3）深度微调与自定义模型

针对金融行业、医疗行业、零售行业等场景做更深度的模型微调，让大模型对专业术语和业务逻辑有更精准的把握。
结合企业内部私有语料和知识库，进一步提高模型判定的准确度。

（4）自动脱敏与数据合规

在识别到高敏感字段后，可联动数据处理管道自动执行脱敏操作，最大程度降低泄露风险。
在跨境数据传输、第三方数据交换场景中，自动检查字段敏感度并根据合规政策决定是否允许传输。

（5）语义标签与知识图谱技术的深度融合

将敏感等级当作语义标签，进一步结合企业知识图谱，把数据、业务和安全策略融为一体，实现更全面的智能数据治理。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述