情报分析是整个情报工作的核心环节,一直以来都是情报学的主要研究领域,也有很多成熟的情报分析方法。在欺诈体系建设中,参考了OSINT(Open Source Intelligence,开源渠道情报)的方法,它是一套完整的情报收集、分析方法,有很多值得借鉴的地方。
从前文对情报的分类介绍中可以看出,数据情报和技术情报都是对原始情报信息汇总加工后产生的。在分析过程中,我们把风险相关的数据抽取出来,就成为数据情报;把技术和作弊工具有关的情报整理出来,就成为技术情报。
情报自动化采集系统从各个渠道收集的原始信息,包含了文本、图片、音视频文件甚至是代码片段。不同类别的信息,处理方式也会有所不同。我们目前基本实现了文本情报的自动化分析,其他类型的信息数量约占1%,主要依靠人工运营的方式进行分析。
文本情报的分析主要分为智能分析和风险预警两个过程。
当从各个渠道收集原始信息时,并不能像写爬虫一样,根据一些简单的逻辑规则判断是哪些内容是游泳的、哪些内容是没用的。无论从哪个渠道采集信息,都会出现大量的重复信息。例如,一些大平台的营销活动,会在多个黑产社区和论坛出现。在处理这些信息时就需要使用相似度算法去重。经过去重之后,可以把百万条级别的信息压缩到十万条级别,大大减小了后续分析的压力。