敏感数据智能识别

　敏感数据智能识别

智能敏感数据识别技术主要应用在文本、图像等非结构化数据类型中。智能敏感识别包括三类智能

算法：基于相似度、非监督学习和监督学习。

基于相似度算法可准确检测以文档形式存储的非结构化数据，例如 Word 与 PowerPoint 文件、PDF 文档、财务、并购文档，以及其他敏感或专有信息。首先，手工或者通过感知算法提取文档指纹特征，以检测原始文档的已检索部分、草稿或不同版本的受保护文档。第二步进行敏感文件的学习和训练，获得敏感内容的文档时，采用语义分析的技术进行分词，提出来需要学习和训练的敏感信息文档的指纹模型，然后利用同样的方法对被测的文档或内容进行指纹抓取，将得到的指纹与训练的指纹进行比对，根据预设的相似度阈值去确认被检测文档是否为敏感信息文档。

基于无监督学习算法，人工无需打标签，进行特征设计与提取，比如敏感图像场景提取目标关键点、文档数据根据语义提取特征向量。首先选取 K-means、DBSCAN 等聚类算法其中之一作为训练算法，然后将敏感数据待分类的数目赋为聚类“簇”的个数，将输入的样本数据进行聚类，聚类完成形成不同“簇”的数据集合，人工对这些“簇”的部分样本进行分析并确定相应“簇”的类别，比如敏感型、非敏感型。

基于监督学习算法需收集一定数量的训练数据（比如文档、图片），同时对数据进行人工打标签，

比如敏感 / 非敏感标签（二分类场景）。然后选择相应的监督学习算法，比如支持向量（ SVM ）、决策树、随机森林、神经网络等，再对训练数据进行模型训练与调参。训练完成，将输出的模型应用在新的数据进行智能识别与预测，自动化输出数据类型--敏感 / 非敏感数据。

在实际应用中， Securiti.ai 和 BigID 公司均宣称利用机器学习和聚类算法在大规模数据实现分

类，以自动化发现个人数据以及其他敏感数据。但算法的效率、识别精度以及可扩展性仍然是一系列富有挑战性的关键问题。