【编者按】Ely Kahn曾任职于NSA,在国家安全领域有十年以上的工作经历,后在Boston创立Sqrrl,提供基于Apache Accumulo的产品,2013年Sqrrl被CRN评为“年度最cool供应商”。Accumulo作为一种可靠、可伸缩、高性能排序分布式的键值存储解决方案,逐渐成为美国政府级应用,Hadoop供应商Cloudera和Hortonworks也加大了对Accumulo的支持,著名GigaOM分析师Derrick Harris为我们做了详细分析。
CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。
以下为译文:
Sqrrl联合创始人兼业务发展副总裁Ely Kahn在Structure Show详细介绍了美国国防部的网络安全状态和数据分析的尖端技术。
Ely Kahn在国家安全领域已有十年以上的工作经历,包括在交通安全管理、国土安全部和总统行政办公室,那时他是网络安全部门的负责人。2012年,他加入了一个由前国家安全局工程师组成的团队,一起创建了Sqrrl(一个基于开源Accumulo技术的数据库公司)。Kahn在Structure Show上谈论了信息技术在国家安全领域的一些问题,包括信息技术的作用、信息技术的使用者,以及在国家安全领域用到了哪些数据和技术。
这次让人印象深刻的采访涵盖了软件实现到基础设施各个方面,其中有一些亮点,包括强化Accumulo的安全性,以及此类基于Hadoop的技术、对关键基础设施故障的应对、用先进分析技术改善网络安全、用大数据打击网络犯罪等。
棱镜?其实它只是个数据库
Kahn说:“Accumulo是NSA企业架构的核心。NSA的大部分分析应用程序都运行在Accumulo上,我不可能对每一个应用都做详细介绍,因为那样可能三天三夜也说不完,但最重要的部分,也是人们都已经了解的那些部分都应用Accumulo作为后端。”
Accumulo作为NSA企业架构的核心部分,甚至可以说是国家安全战略的关键。虽然检测可疑行为并定位目标、检查网络中已知疑犯这些在技术上很容易实现,不过对Kahn所说的“生命分析模式”(patterns of life analysis),NSA还有更大胆的想法:
这些被归结为异常检测,也是我们关注的一个重点。如何去建立一种常规模式然后从正常状态基线检测异常数据?那确实需要大量的用例......
目前我们在做的很多事情都围绕着图分析,建立大量的数据图使其看起来像特定的用例,然后寻找随时间变化正常行为模式中的偏差。