【敏感数据识别】人名校验实现

已于 2023-05-30 14:38:38 修改
阅读量226 收藏
点赞数
分类专栏： 敏感数据识别 文章标签： java 安全 正则表达式
于 2023-05-30 14:38:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44258855/article/details/130947631
版权

【敏感数据识别】人名校验实现

一、需求

识别出姓+名格式的人名，如张建国、李建军

二、实现

NLP算法+筛选条件
1、Viterbi分词后，包含名字（姓氏，双名首字，双名末字，单名等），即词性为nr
2、长度为2-4
3、单姓在《21年5月第七次人口普查300家姓》中 或 复姓在《2020年全国姓名报告》top 14复姓中

三、参考资料

nlp基础知识—中文分词词性对照表
中华人民共和国中央人民政府《二〇二〇年全国姓名报告》发布

什么时候才能拥有修勾
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
敏感数据智能识别
u013750302的博客
12-29 3585
　敏感数据智能识别 智能敏感数据识别技术主要应用在文本、图像等非结构化数据类型中。智能敏感识别包括三类智能 算法：基于相似度、非监督学习和监督学习。 基于相似度算法可准确检测以文档形式存储的非结构化数据，例如 Word 与 PowerPoint 文件、PDF 文档、财务、并购文档，以及其他敏感或专有信息。首先，手工或者通过感知算法提取文档指纹特征，以检测原始文档的已检索部分、草稿或不同版本的受保护文档。第二步进行敏感文件的学习和训练，获得敏感内容的文档时，采用语义分析的技术进行分词，提出来需要
基于分布式的短文本命题实体识别之----人名识别（python实现）
weixin_34179762的博客
07-13 1580
目前对中文分词精度影响最大的主要是两方面：未登录词的识别和歧义切分。 据统计：未登录词中中文姓人名在文本中一般只占2%左右，但这其中高达50%以上的人名会产生切分错误。在所有的分词错误中，与人名有关的错误占到了将近90%，这中国人名都是根据人的想法起的名字，有很大的随意性，并且数量巨大，规律也不尽相同。 1.理论简介 命名实...
姓名验证（汉字）
weixin_34237596的博客
04-24 1849
姓名验证的正则表达式2~6个字符 public static boolean isName(String name){ Pattern pattern = Pattern.compile( "^([\u4e00-\u9fa5]{2,6})"); Matcher matcher = patter...
[nlp] 命名实体识别中的中文名识别算法
张伟的专栏
04-29 2140
目录 命名实体识别 基于CRF的命名实体识别方法 SVM和最大熵相结合的中文机构名自动识别 中文名识别 盘古分词中的算法 预处理 消除歧义 总结 基于词典的实体识别 jcseg中文姓名识别算法 总结 HENU汉语分词系统中的中文人名识别算法 同姓异名对的冲突处理 局部回溯分词 基于支持向量机的中国人名的自动识别 基于可信度模型的中文人名识别研究 命名实体识别 命名实体识别是自然语言处理中的一项基础性工作，需要把.
中国人名识别
qq_18674585的博客
07-16 3360
基于角色标注的中国人名识别的原理和流程：编码代码意义例子BPf姓氏张华平先生CPm双名的首字张华平先生DPt双名的末字张华平先生EPs单名张浩说：“我是一个好人”FPpf前缀老刘、小李  GPlf后缀王总、刘老、肖氏、吴妈、叶帅KPp人名的上文又来到于洪洋的家。LPn人名的下文新华社记者黄文摄MPpn两个中国人名之间的成分编剧邵钧林和稽道青说UPpf人名的上文和姓成词这里有关天培的壮烈VPnw人名...
InfoExtra人名识别
05-25
人名识别，也称为命名实体识别（NER），其目的是在大量的文本数据中识别出具有特定意义的实体，特别是人名。在新闻报道、社交媒体、学术论文等大量文本中，人名识别对于信息抽取、情感分析、推荐系统等领域具有重要...
三国演义人名-数据脱敏.xlsx
01-10
三国演义所有人名，1117个人名，可用于数据脱敏
命名实体识别数据集.rar
11-03
该数据集是用于命名实体识别训练模型的数据集，该数据集中包含6中标签，分别是人名、地名、时间、组织机构名、公司名、产品名。遵循BIO编码。里面有三个文件，分别是训练集，测试集，验证集。样例如下： 以 O 及 O ...
使用CRF++工具进行人名识别
07-12
本资源包含使用CRF++工具进行人名识别的所有资源，包括： 1.CRF++工具 2.语料库、程序、文档、实验结果等 2.1 语料库 2.2 语料库划分后的训练集、测试集 2.3 训练集，测试集进行处理后的结果 2.4 crf_learn用到...
PyTorch 人名分类数据集
06-21
在自然语言处理（NLP）领域，理解和处理文本数据是一项核心任务。PyTorch 是一个流行的...通过利用RNN、LSTM或者Transformer模型，结合有效的数据处理和模型训练策略，我们可以构建出能够准确识别文本中人名的系统。
中文人名自动识别的一种有效方法
10-16
中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。
验证姓名的正则表达式
09-12
昨天网上找了些资料验证姓名的，发现都不理想。今天自己完善了一个。 过滤的规则： 1.纯中文或者纯英文 2.有圆点组合的中文 大卫·波菲尔·多可汗 圆点前的中文至少1个，最多20个。圆点至多可有5个。都可以根据需求更改。 3.有空格 或者 小数点 或者 小数点加空格的英文组合 空格的：M Tom,wang hong,Ronald W Reagan 小数点的：M.Tom,M.H.Tom 小数点加空格的：M. H. Tom,M.H Tom
python识别中文人名_中文人名识别
weixin_39621860的博客
11-29 6377
中文姓名的构成规律中文姓名一般由二字或三字组成，第一字为姓氏字（复姓为前两字），其后的一到两个汉字为名用字。统计表明，中文姓名在用字上也有一定规律：一方面某些字频频出现在姓名中，如在姓氏用字中，虽然姓氏辞典中列举了几千个姓氏字，但目前实际使用的不过几百个，而张、王、李、赵、刘5个姓竟占了32%；另一方面，某些字又从不被用作姓名用字，如最、仅、 紧、以、且等字。 根据这一特性，首先从一个含有1万多个...
基于敏感数据的提取与加密（第二步，敏感数据命名体识别）
weixin_43636034的博客
05-29 572
我提取敏感数据，举例常用敏感数据例如身份证号手机号，姓名和地点还有一些机构名字，因此我面向这些敏感数据，调用StanfordCoreNLP包，来解决大多数敏感数据，那会问了，为什么不自己训练模型来弄呢，对于我来说第一点太麻烦了，第二点主要也是因为没有具体标签如果只是为了做项目调用别的工具包，不寒碜。我以医院病历为例（就三条伪数据，简述一下如何做的）...
VB如何自动保存_VB编写的身份证号自动识别实用程序
weixin_39900180的博客
11-22 310
今天我们共同来看一下用VB编写的实用小工具--身份证号自动提取性别、年龄、出生日期工具。身份证是我们每个公民都有的，根据它可以唯一识别出具体某个人。程序实现功能：当用户单击”输入身份证号”按钮时，弹出输入输入框，接收用户输入的身份证信息后，从身份证号中提取相关信息并显示在指定控件上。程序实现过程分析：1、单击“输入身份证号”按钮，使用inputbox函数弹出以下对话框：身份证号=Inpu...
使用深度学习进行姓名实体识别：自动发现文本中的人名和地名
sybh的博客
08-07 462
姓名实体识别（Named Entity Recognition，简称NER）是自然语言处理领域的重要任务之一，它可以自动识别文本中的人名、地名、组织名等实体信息。在本博客中，我们将使用Python和深度学习技术，介绍如何构建一个姓名实体识别系统。我们将讨论数据准备、模型构建、训练和测试等关键步骤，并展示姓名实体识别的效果。
java后端 校验姓名[带生僻字]、身份证证件号和统一社会信用代码
最新发布
咏樟的博客
11-06 1509
可以通过身份证真伪查询进行查看具体实现代码/*** 开始处理最后一位是否合规* 将前17位数字分别乘以对应的权重因子，从左到右依次为：{7,9,10,5,8,4,2,1,6,3,7,9,10,5,8,4,2};* 将乘积的结果相加。* 将相加结果除以11，得到余数。* 根据余数查表得到对应的校验码。*///加权因子//校验码int sum=0;//加权和i
姓名、证件号码相关校验规则
zhao_ren的博客
08-25 653
【代码】【无标题】
全网最全js前端、后端通用校验中文姓名（可带点·）的方法
u013282737的博客
09-03 4502
在网上找了好久校验汉字姓名的方法，全部不尽如人意，自己动手写了一个。 测试下来，可包含所有可能的情况， 后端语法稍微改一下，也是一样使用。 废话不多说，直接上代码。可以使用的朋友请点个赞 // 将传入的姓名中空格和全角空格都去掉，乱七八糟的·都换成半角的· export const checkChineseName = function(name) { let reg = /^[\u4e00-\u9fa5]{2,15}$/; // 保留点后,用来校验的姓名,也是最终校验通过
java识别人名
05-30
要识别人名，可以使用自然语言处理的技术，结合命名实体识别（Named Entity Recognition，简称NER）模型来完成。在Java中，可以使用开源的Stanford NLP库来实现。具体步骤如下： 1. 导入Stanford NLP库 2. 加载命名...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值