数据脱敏(三)脱敏算法-遮盖算法

最新推荐文章于 2025-03-30 20:53:16 发布
最新推荐文章于 2025-03-30 20:53:16 发布
阅读量1k 收藏 8
点赞数 12
分类专栏： 数据脱敏 文章标签： 数据脱敏 低代码 遮盖算法 HuggingFists
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/colorknight/article/details/135845306
版权
本文详细介绍了如何利用阿里云的数据脱敏算法，通过算子平台构建遮盖脱敏流程，以保护敏感信息如身份证号，采用IndexMasking和PositionMasking对特定字段进行处理，确保数据安全的同时保持数据可用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

脱敏算法篇使用阿里云数据脱敏算法为模板,使用算子平台快速搭建流程来展示数据

        遮盖脱敏是一种数据脱敏技术，它的主要目的是通过隐藏或替换敏感信息来保护数据安全，同时保持数据的其他特性不变，以便于数据的进一步使用和分析。这种脱敏技术适用于需要对敏感数据进行展示或分享的场景，例如在开发测试、数据分析、报告生成等过程中。在使用遮盖脱敏时，可以根据需要选择不同的脱敏规则，如保留特定位置的字符、替换为指定字符、字符前后遮盖等。例如，可以选择仅显示身份证号的前几位和后几位，而隐藏中间敏感的数字；或者使用特定的遮盖字符（如星号“*”或井号“#”）对整个敏感区域进行遮盖。

遮盖脱敏及平台支持

首先构建流程，从csv文件读取内容，之后对联系方式分别进行遮盖，并输出结果

流程图如下，从csv文件选取姓名，联系电话三个字段

处理流程-csv读取

为了方便演示定位遮盖，需要在数据中添加一列邮箱，这里以姓名同意添加一列163邮箱

处理流程-添加邮箱

数据分发给两个遮盖算子，IndexMasking为指定开始结束索引来进行遮盖脱敏，其中的参数如下

算子说明

处理流程-IndexMasking

另一个分支是PositionMasing,根据关键字符位置进行遮盖，这里将邮箱@前的账户遮盖

处理流程-PositionMasking

流程构建完毕后，点击执行，结果如下

执行结果-原始数据

执行结果-IndexMasking

执行结果-PositionMasking

ShardingSphere 5.x 系列【19】 数据脱敏
记录知识、锤炼自我
02-29 620
数据脱敏指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。例如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。静态数据脱敏：按照脱敏规则一次性完成大批量数据的变形转换处理动态数据脱敏：按照脱敏规则对于外部申请访问的数据进行即时处理并返回脱敏后的结果。
MATLAB算法实战应用案例精讲-【数模应用】数据脱敏（二）（附python代码实现）
qq_36130719的博客
12-05 183
数据脱敏，是指能够对包含敏感信息的字段通过配置脱敏规则进行数据掩码处理。例如在涉及安全数据或者一些商业敏感数据的情况下，如姓名、身份证号、手机号、账户、地址等个人信息，可对其进行数据脱敏，解决其在非可信环境中的使用问题，实现公司的合规要求。（1）设置脱敏规则：由域主或域管理员设置全局的脱敏规则，在规则编辑界面设置规则名称、字段类型和脱敏算法。（2）基于列权限应用：由项目管理员在项目中基于数据权限-列权限应用脱敏规则，直接控制对应权限人员的能否查看或导出数据表下的某个字段。
【数据保护】微软开源数据保护项目Presidio-图像脱敏
不断学习，不断进步。
07-31 1534
Presidio的Image redactor模块主要负责扫描图片中的敏感信息，并通过重编辑的方法生成脱敏后的图片。
论文研究-一种新的图像分场描述编码错误掩盖算法.pdf
07-22
针对信道中数据丢失导致图像恢复质量严重受损问题，提出将方向插值引入到基于图像分场描述编码的错误掩盖算法。将每帧图像分为两场独立编码传输，丢失一场数据时，通过改进Sobel算子计算正确接收的另一场图像内部边缘，沿边缘方向插值恢复出丢失的场。实验结果表明，应用这种基于像素行交织的错误掩盖算法后，图像主观恢复质量和峰值信噪比均较现有方法有显著提高。算法计算复杂度低，与H.264编码标准兼容，适于实际工程应用。
数据脱敏的方法
lichunyu7199的博客
02-10 973
数据脱敏（Data Masking）是指通过对敏感数据进行变形、替换、加密等处理，使其在保持可用性的同时，避免泄露真实信息。数据脱敏广泛应用于数据共享、测试、开发、分析等场景，是数据安全的重要组成部分。
音视频实时传输错误掩盖算法
小蝈蝈的博客
07-31 1542
音视频实时传输错误掩盖算法   受信道自身条件的制约或突发状况影响，视频码流的传输过程中会产生误码。误码类型主要为比特错误和传输丢包。当误码数量超出了信道和解码器的内容技术支持范围，就会造成视频解码错误，视频质量下降。此外，在视频实时传输中，端到端的时延和“抖动”也会影响视频质量。其中比特误码主要是由于物理信道自身的缺陷和信道噪声造成。比特误码包括比特翻转、比特插入和比特删除；丢包错误主要是由
有了它，你的照片能“屏蔽”人脸识别算法
osfront的博客
04-12 1040
【导语】：一款保护个人照片隐私的 AI 工具。 简介 如今强大的面部识别系统的激增对个人隐私构成了真正的威胁。人人都可以在互联网上搜索数据，可以在个体不知情的情况下训练出高度精确的人脸识别模型。我们需要工具来保护自己免受未经授权的面部识别系统的潜在滥用。 Fawkes 是由芝加哥大学 SAND Lab 团队开发的一套为图片添加防识别“隐身衣”的 AI 工具，用于帮助用户保护照片中的个人隐私数据。 Fawkes 对人脸图像进行了像素级的细微更改，肉眼几乎无法察觉到。而任何扫描这些图像的算法都会将这些“高度
教小白遮挡照片中的敏感部位
weixin_33769125的博客
09-29 708
经常在ppt中插入照片，跟很多小白一样，很多照片是从百度上下载的。可是百度的图片真气人，我喜欢的各个都带著作商标，如果放在幻灯片，大家往往由于好奇心驱使都会注意那个很小但很要命的家伙。我花啦好长时间在网上搜索去底纹的方法，有提供软件的，有用PS高超特技的，在这里，本人也想给大家再提供个办法，只用PPT，很简单的一个操作哦！1.在PPT中插入一张带商标的图片2.选中图片，在图片...
Spring Boot集成ShardingSphere实现数据加密及数据脱敏 | Spring Cloud 48
热门推荐
gmHappy
05-11 1万+
利用ShardingSphere实现： - 数据加密 - 数据脱敏
使用Python进行数据挖掘时如何有效的数据脱敏？
最新发布
python收藏家的博客
03-30 764
数据脱敏在数据挖掘中的应用非常重要，因为它允许数据科学家和分析师在不违反隐私法规和公司政策的前提下，对数据进行探索和分析。这在处理医疗记录、财务信息、个人身份信息等敏感数据时尤为重要。在数据挖掘项目中实施数据脱敏，可以减少数据泄露的风险，同时确保数据分析的结果有效和可靠。此外，数据脱敏也是许多数据保护法规（如欧盟的通用数据保护条例GDPR）的要求，有助于企业遵守这些法规，避免因数据泄露而产生的法律责任和经济损失。
数据脱敏技术方案概述.docx
02-28
数据脱敏技术方案概述，详细讲述了有关数据脱敏技术的定义、需求，以及脱敏算法、脱敏算法的用例、脱敏规则、脱敏环境，以及脱敏的方式，大数据领域的数据脱敏技术等。
数据脱敏依赖
03-17
- 使用加密算法（如AES、RSA）对数据进行加密，需密钥解密还原。适用于需保留数据业务含义的场景。 #### 二、实现方法 1. **基础脱敏方法** - **替换**：用虚构值（如`***`或随机字符）覆盖真实数据，例如手机号...
数据脱敏(四)脱敏算法-替换算法
colorknight的专栏
02-19 870
需要注意的是，替换脱敏虽然可以保护个人隐私，但也可能导致数据失真，影响数据分析的准确性。因此，在使用替换脱敏时，需要权衡隐私保护和数据质量之间的关系。例如，可以将姓名替换为“XXX”，将电话号码替换为“XXXX-XXXX-XXXX”等。4.验证和测试：在替换完成后，需要对数据进行验证和测试，确保替换效果符合预期，且不影响数据的正常使用。首先构建流程，从csv文件读取内容，之后对籍贯进行替换，并输出结果。流程图如下，从csv文件选取姓名，籍贯两个字段，分发给替换算子。替换脱敏-csv数据。
element-ui的表格增加行_专题设计篇1—数据表格设计（上）
weixin_39605647的博客
11-22 375
从事B端设计的同学一定知道，B端产品使用频率最高的就是表单和表格，那么就关于数据表格的设计，我总结了一点经验分享出来，大家一起探讨优化。首先，数据表格结构熟知的数据表格，主要有以下两大类：简单表格（二维表格）、复杂表格（交叉表格）表格结构如下图所示：简单二维数据表格结构复杂交叉表格结构从表格的结构来看，它主要有以下特点：结构化结构化，主要通过数据表格的“列”体现。把对象的属性维度，通过“列”进行全...
数据脱敏(五)脱敏算法-变换算法
colorknight的专栏
02-20 1103
脱敏算法篇使用阿里云数据脱敏算法为模板,使用算子平台快速搭建流程来展示数据"变换脱敏"是一种数据处理技术，主要用于保护个人隐私和数据安全。它通过将敏感信息（如姓名、身份证号、电话号码等）进行某种形式的转换，使其无法直接识别，以防止数据泄露和滥用。这种技术在数据分析、数据挖掘、数据共享等领域有广泛应用。在实际操作中，变换脱敏通常包括以下几个步骤：1.识别敏感信息：首先需要确定哪些信息是敏感的，例如个人信息、财务信息等。这可以通过人工审查或使用自然语言处理等技术实现。
数据脱敏(六)脱敏算法-加密算法
colorknight的专栏
02-21 804
它通过将敏感信息（如姓名、身份证号、电话号码等）进行加密处理，使其无法直接识别，以防止数据泄露和滥用。需要注意的是，加密脱敏虽然可以保护个人隐私，但也可能导致数据失真，影响数据分析的准确性。因此，在使用加密脱敏时，需要权衡隐私保护和数据质量之间的关系。这可以是全量加密，也可以是根据条件进行部分加密。4.验证和测试：在加密完成后，需要对数据进行验证和测试，确保加密效果符合预期，且不影响数据的正常使用。加密算法比较多，简单构建一个流程，包含数据加密解密，流程图如下。加密算法有很多，根据实际业务需求开发使用。
数据脱敏的功能与技术原理【详解】
数据安全学习分享
07-19 6400
数据脱敏最重要的一点就是能不能精准识别出敏感数据，之后才是针对性脱敏。静态脱敏可以概括为数据的“搬移并仿真替换”，动态脱敏可以概括为“边脱敏，边使用”。
DS/ML：数据科学技术之常用的数据脱敏算法的简介(替换算法、脱敏算法、混淆算法、数据一致性算法)、应用案例之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-08 1553
DS/ML：数据科学技术之常用的数据脱敏算法的简介(替换算法、脱敏算法、混淆算法、数据一致性算法)、应用案例之详细攻略 目录 常用的数据脱敏算法的简介 数据脱敏算法的概述 常用的数据脱敏算法的简介 数据脱敏算法的概述 替换算法 替换算法（Substitution）：最简单的方式，将敏感信息如手机号、姓名等换成其他值。 >> 随机替换（Randomization）：将原始数据按照一定规则进行随机替换，如随机生成一个与原始值有相同类型和长度的值进行替换。 >> 伪造替换
数据脱敏算法数据脱敏算法三线表
01-18
### 数据脱敏算法概述 数据脱敏旨在通过特定的方法和技术来保护敏感信息，防止未经授权的数据访问。这通常涉及对原始数据进行转换或修改，使得即使泄露也不会暴露真实的信息[^1]。 #### 工作原理 数据脱敏的核心在于创建一套规则集用于指导如何处理不同类型的数据项。这些规则可以基于简单的字符替换、更复杂的加密技术或是其他形式的变换操作。例如，在某些情况下，可能仅需简单地用星号(*)或其他符号覆盖部分个人信息；而在另一些场景下，则会采用高级别的加密手段确保安全性[^2]。 对于每种类型的输入值都有相应的输出模式——即所谓的“掩码”。此过程不仅限于静态文本字符串，还包括日期时间戳、地理位置坐标等多种格式化后的数值型变量。重要的是要保持业务逻辑的一致性和连贯性，以便经过处理之后的数据仍然能够满足分析需求而不影响决策支持系统的正常运作[^3]。 #### 常见的应用场景 - **金融行业**：信用卡号码、银行账户余额等财务资料； - **医疗保健领域**：患者姓名、病历记录中的诊断结果和个人健康状况描述； - **电子商务平台**：用户的收货地址详情以及联系方式； - **社交网络服务提供商**：个人身份验证凭证（如密码）、私信聊天内容等。 以上各个行业的共同特点是都涉及到大量高度机密性的客户私人信息存储与传输活动，因此实施有效的数据脱敏措施显得尤为重要[^4]。 #### 实现方法及示例 以下是几种常见的实现方式及其对应的Python代码片段： ##### 字符串遮蔽法 适用于短文本字段，比如名字首字母加随机数填充其余位的方式。 ```python def mask_string(s, show_chars=2): """Mask string by showing only first few characters.""" masked_part = '*' * (len(s) - show_chars) return s[:show_chars] + masked_part if len(s)>show_chars else s ``` ##### 加密解密机制 利用强大的AES对称加密库PyCryptodome来进行双向安全编码。 ```python from Crypto.Cipher import AES import base64 class AesEncryption: def __init__(self,key='your-secret-key'): self.key=key.encode('utf8') def encrypt(self,message): cipher=AES.new(self.key,AES.MODE_EAX) nonce=cipher.nonce ciphertext,tag =cipher.encrypt_and_digest(message.encode()) encrypted_message={'ciphertext':base64.b64encode(ciphertext).decode(), 'nonce':base64.b64encode(nonce).decode()} return encrypted_message def decrypt(self,encripted_data): try: decipher=AES.new(self.key,AES.MODE_EAX, nonce=base64.b64decode(encripted_data['nonce'])) decrypted_text=decipher.decrypt(base64.b64decode( encripted_data['ciphertext'])).decode() return decrypted_text except Exception as e: print(f"Decryption failed: {e}") return None ``` ##### Hash散列函数 不可逆单向哈希运算适合长期保存但不需要还原的情况，像用户登录名之类的唯一标识符。 ```python import hashlib def hash_password(password,salt=''): sha_signature =hashlib.sha256((password+salt).encode()).hexdigest() return sha_signature ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值