【2017年第4期】流式大数据实时处理技术、平台及应用

陈纯

浙江大学计算机科学与技术学院，浙江 杭州 310058

摘要：大数据处理系统根据其时效性可分为批式大数据和流式大数据两类。上述两类系统均无法满足“事中”感知查询分析处理模式的需求。为此，从分析大数据应用场景入手，提出了“流立方”流式大数据实时处理技术和平台，在完整大数据集上实现了低迟滞、高实时的即席查询分析。目前基于“流立方”平台开发的业务系统已应用到金融风控反欺诈、机器防御等领域，具有广阔的应用前景。

关键词：流式大数据 ; 流处理 ; 增量计算 ; 时序处理

中图分类号：TP319    文献标识码：A

doi:10.11959/j.issn.2096-0271.2017036

Real-time processing technology,platform and application of streaming big data

CHEN Chun

College of Computer Science and Technology, Zhejiang University, Hangzhou 310058, China

Abstract: According to its timeliness,big data processing systems can be categorized into two groups,namely batching big data processing and streaming big data processing.Both systems mentioned above are unable to meet the real-time requirement for censoring and query analysis tasks.To this end,the “stream cube” real-time data analysis technology and platform were presented,which can perform timely query with low lag.Currently,this technology has been applied to many fields,including financial risk management,anti-fraud as well as web bots defense,and offers promising prospects for further applications.

Key words: streaming big data, streaming processing, incremental computation, time series processing

---

论文引用格式：陈纯. 流式大数据实时处理技术、平台及应用[J]. 大数据, 2017, 3(4): 1-10.

CHEN C. Real-time processing technology,platform and application of streaming big data[J]. Big Data Research, 2017, 3(4): 1-10.

---

1 引言

大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式（batch）大数据和流式（streaming）大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

目前主流的大数据处理技术体系主要包括Hadoop[1]及其衍生系统。Hadoop技术体系实现并优化了MapReduce[2]框架。Hadoop技术体系主要由谷歌、推特、脸书等公司支持。自2006年首次发布以来， Hadoop技术体系已经从传统的“三驾马车”（HDFS[1]、MapReduce和HBase[3]）发展成为包括60多个相关组件的庞大生态系统。在这一生态系统中，发展出了Tez、Spark Streaming[4]等用于处理流式数据的组件。其中，Spark Streaming是构建在Spark基础之上的流式大数据处理框架。与Tez相比&