从T+1到T+0，浅谈PetaBase的实时流式处理

随着互联网+的进一步发展，各行业对大数据技术的应用日趋成熟，企业的信息化范围正在高速扩展。

我们发现，越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理要求很高。例如网站流量监测、安全告警、用户推荐等等，传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要。为了有效解决实时框架和数据大规模存储计算的问题，PetaBase流式处理框架应运而生。

目录

打通结构化数据的高速通道

打破半结构化数据的管理困局

PetaBase的架构优势

---

打通结构化数据的高速通道

同互联网公司相比，传统企业在业务种类、交易模式、监管要求方面都大大不同。比如传统的银行和股票交易领域，线上交易（OLTP）数据大都存储在关系型数据库中，我们针对这类业务需求设计了以下T+0实时处理的架构：

​​

整个框架采用了Oracle GoldenGate（OGG）+Kafka+SparkStreaming的软件架构。集成该框架的PetaBase提供基础的数据采集、接收、过滤解析、实时规则计算、存储和分析挖掘功能，以此为基础构建实时风险预警系统进行业务逻辑加工，下游的各个监控与分析系统通过订阅方式获得实时处理后的数据，满足企业运营实时监控与分析的业务需求。

GoldenGate是一种基于日志的结构化数据复制软件，能够实现大量交易数据的实时捕捉ÿ