当前网络与信息安全领域,正在面临着多种挑战。一方面,企业和组织安全体系架构的日趋复杂,各种类型的安全数据越来越多,传统的分析能力明显力不从心;另一方面,新型威胁的兴起,内控与合规的深入,传统的分析方法存在诸多缺陷,越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。
一、安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面:
1)数据量越来越大:网络已经从千兆迈向了万兆,网络安全设备要分析的数据包数据量急剧上升。同时,随着NGFW的出现,安全网关要进行应用层协议的分析,分析的数据量更是大增。与此同时,随着安全防御的纵深化,安全监测的内容不断细化,除了传统的攻击监测,还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测,等等,这些都意味着要监测和分析比以往更多的数据。此外,随着APT等新型威胁的兴起,全包捕获技术逐步应用,海量数据处理问题也日益凸显。
2)速度越来越快:对于网络设备而言,包处理和转发的速度需要更快;对于安管平台、事件分析平台而言,数据源的事件发送速率(EPS,Event per Second,事件数每秒)越来越快。
3)种类越来越多:除了数据包、日志、资产数据,安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化,自然引发人们思考如何将大数据技术应用于安全