大数据流批一体化架构设计

一、当前数据处理待痛点分析

• 1、当前生产环境因source端数据更改，导致后续计算重新运行情况时有发生，这样不仅牵扯开发精力而且十分消耗资源。
• 2、现有的数据处理方式不能更好的面向未来日益增多的需求。
• 3、业务线数据模型混乱，数据使用成本特别高。
• 4、需求驱动的烟囱式开发，完全没有复用的可能性，计算成本居高不下。
• 5、分析计算后的数据下沉到Mysql中，查询和保障方面不灵活。

二、流批一体化架构方案

1、流批一体化架构方案分析

目前流批一体化架构比较完美的实现方式是采用流计算+交互式分析双引擎架构，在这个架构中，流计算负责的是基础数据，而交互式分析引擎是中心，流计算引擎对数据进行实时ETL工作，与离线相比，降低了ETL过程的latency，交互式分析引擎自带存储，通过计算存储的协同化，实现高写入TPS、高查询QPS和低查询latency，从而做到全链路的实时化和SQL化，这样就可以用批的方式实现实时分析和按需分析，并能快速的响应业务的变化，两者配合，实现1+1>2的效果，