大数据框架

适用场景(解决问题)：

现状:

1、现有的离线数据统计分析，容错性差、非HA，不支持分布式计算，统计性能太差。有些直接把在线业务库当数据源，一个晚上必须计算完，否则到白天直接影响系统业务性能。

2、随着平台业务的发展，数据量越来越大，直接对mysql进行查询、统计慢慢变得不可能。如果对现状数据库做分表分库，属于系统重构，工作量大，直接影响系统业务发展。即使做了分表分库，像Mycat，这样的中间件，也是需要业务系统大改，对于千万、亿级这样的海量，也是变得有心无力。

解决：

大数据框架引入能解决的问题：

1、海量数据实时在线查询，如帐单查询等。

2、海量数据离统计分析，如：资源统计、资源动态变化分析(如：某片区在某段时间内的资源经营情况)。

3、日志查询，提供标准的sql语法查询ES里的日志等数据，开发人员不需要额外花时间去学ELK查询语法。

4、可以接入任何需要分析、查询的数据