敏感信息识别方法探究

2019独角兽企业重金招聘Python工程师标准>>>

    互联网已经成为人们日常获取信息与沟通交流的重要方式，伴随用户规模的不断攀升每日的传播数据呈现爆发式增加。在这些海量数据中包括文本、图片、声音及视频多种格式，既有积极的也有消极的，甚至包括有悖伦理道德及违反法律法规的不良信息。为了创建一个良性的网络环境，有必要建立一套有效的机制，从海量信息中快速准确的识别出不良信息，切断其传播渠道，从而达到净化网络环境的目的。

    敏感信息识别系统的设计应采用以机器为主导的，人工干预为辅助的处理机制，并随着算法的不断优化与数据模型的不断完善，逐步降低人工干预比例；系统设计应满足对“存量数据”和“增量数据”两种不同规模下，“全量扫描”与“抽样扫描”二种方式的支持；文本数据能够识别语言和字符集，图片、声音及视频等数据能够识别存储格式及编码类型；视频数据能够导出帧，通过逐帧或跳帧进行识别；系统应采用并行处理的计算机制，日处理能力不低于5TB；系统的识别算法应设计为立体多维度，降低因不合理的单一维度识别命中率而导致的偏差情况的发生，且算法模型应具备自