IBM软件架构处理天文领域海量数据

IBM最近发布了能够处理海量数据流的软件架构原型。IBM的这款软件为SKA（平方公里阵列）望远镜项目而建，能够自动分类天体对象。来自新西兰惠灵顿维多利亚大学的射电天文学家Melanie Johnston-Hollitt与IBM合作开发了该系统。

这项SKA项目的主要目的是通过遍布在澳大利亚、新西兰或贯穿南非的雷达和天线网络，对射电源进行前所未有的精确观测。一项主要的设计挑战是如何每天处理1EB（译者注：1EB=1024PB）的原始数据。这就是当这个世界上最庞大、最灵敏的射电望远镜准备就绪时，需要去处理的数据量；项目预计在2016年开始实施。IBM称该数据量已经超过了互联网每天的流量总和。相当于需要1500万多个64G的iPod才能存储这些数据。

IBM于11月10日宣布原型系统完成。

这一新的自动化数据管理软件架构，很可能会使研究者更方便的从那些超大规模的数据收集项目中搜集有用信息，比如这个平方公里阵列全球天文望远镜，有了它我们可以探索宇宙中那些未解之谜。

在Melanie Johnston-Hollitt博士的帮助下，IBM创建了信息密集框架（IIF）。IBM提到，该软件采用国际虚拟天文协会本体论方法把收集到的数据分类为天文学家能够理解的概念，并且提供智能的“导引搜索”功能。该本体论的技术基础是网络本体语言（OWL）。天文学家们希望能够通过自动分类来提高工作效率和创造性。

虽然IIF最初是为SKA项目开发，但它也可以在其他领域得以应用。Douglas Watt，IBM新西兰首席技术官，解释道：

虽然一开始为SKA项目开发，但最终的项目成果也可以应用到其他面临“数据洪流”的企业组织。我们已经确定了几个本地场景，无论从自动化性能数据分析还是到监控趋势变化、异常识别以及提高决策力等等方面，都能从中受益。潜在的客户范围包括从独立制造厂商以及电信企业到整个运输网络和医疗系统。

除了上述主题，IIF未来的工作还将包括通过利用并行处理来提升性能。

对SKA项目感兴趣的读者可以在Flicker上观看图片，上面详细解释了一些令人印象深刻的SKA细节。

查看英文原文：IBM’s Software Architecture for Astronomically Big Data

译者 吴宇 关注Java EE，感兴趣的技术领域包括软件架构、SOA、ESB和开源项目等。