事实上,出于国家安全的最高利益考虑,通过收集特定人群的通话记录,位置信息,交易记录,网络行为记录,出行记录,聊天记录等等,并运用大数据、人工智能等技术对数据加以利用,是公共安全行业信息化发展的主要方向。
为保障我国经济的持续快速发展,社会的安全稳定是基础条件。我国正在投入大量资源,应用包括大数据技术在内的多种高新技术,在公共安全,社会维稳,反恐反爆,案件侦破等多个领域。我们已经看到国内的一些部门和地区,在该领域取得了可观的成效。
我们以《谍影重重5》中的一个片段,阐释大数据技术在踪迹查询上的应用。
第一步:先查找目标嫌疑人的最近活动规律,如犯罪地点与时间
第二步:根据犯罪规律,在大数据系统中进行数据碰撞分析,确定目标特征。
第三步:根据目标特征,匹配嫌疑人
实际上电邮、即时消息、视频、照片、存储数据、语音聊天、文件传输、视频会议、登录时间和社交网络资料这些信息不仅仅在谍5中得以体现,现实时间中也不为新鲜,如之前的棱镜门事件。而在这背后的技术秘密(大数据探索式即席分析)也引起了众人的好奇。
所以笔者有必要跟大家介绍一下,什么是“大数据探索式即席分析”
设想一下, 她(侦探)有一个新的想法要验证, 需要在一个上百亿条数据上面,跑一个查询,看看目标嫌疑人的特性是否与她的推测的一样,她可不希望等太长时间,最好几秒钟结果就出来。当然她的想法不一定完善,还需要不断调整条件,进行各种推测,然后在她的大数据系统中进行验证,最终锁定目标嫌疑人是谁。
大数据探索式即席分析最关键的三个特征就是 快速、灵活、实时。
笔者在阿里、腾讯这些年,做了将近8年《大数据探索式即席分析》这类系统的研发,欢迎大家添加QQ群(171465049)一起探讨更多行业应用场景。
YDB是笔者实现的一个底层技术产品,一个基于Hadoop的实时的、多维的、即席的分析引擎。他具备万亿数据规模下的秒级分析能力。
在谍5里面展示的那个踪迹系统上。YDB可在其中快速的对行踪轨迹进行查询。通过行踪轨迹的发现,可以帮助用户破获案件、截获情报、舆论定位、排查故障、资金流向追溯、通话记录分析等。