互联网已经成为人们日常获取信息与沟通交流的重要方式,伴随用户规模的不断攀升每日的传播数据呈现爆发式增加。在这些海量数据中包括文本、图片、声音及视频多种格式,既有积极的也有消极的,甚至包括有悖伦理道德及违反法律法规的不良信息。为了创建一个良性的网络环境,有必要建立一套有效的机制,从海量信息中快速准确的识别出不良信息,切断其传播渠道,从而达到净化网络环境的目的。
敏感信息识别系统的设计应采用以机器为主导的,人工干预为辅助的处理机制,并随着算法的不断优化与数据模型的不断完善,逐步降低人工干预比例;系统设计应满足对“存量数据”和“增量数据”两种不同规模下,“全量扫描”与“抽样扫描”二种方式的支持;文本数据能够识别语言和字符集,图片、声音及视频等数据能够识别存储格式及编码类型;视频数据能够导出帧,通过逐帧或跳帧进行识别;系统应采用并行处理的计算机制,日处理能力不低于5TB;系统的识别算法应设计为立体多维度,降低因不合理的单一维度识别命中率而导致的偏差情况的发生,且算法模型应具备自