性能指标
大数据平台作为底层的基础数据平台,集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量(网络、磁盘IO)、响应速率、计算能力、高并发性、高可用、维护性方便等,以满足多业务场景下,不同应用需求的建设任务,比如多维分析、实时计算、即席查询和数据统计分析等应用功能。
本项目大数据平台在建设过程中,将满足如下性能指标:
批处理部分指标:
支持批处理集群批量总写入速度2GB/秒,批量读取速度300MB/秒;
平台支持并发执行300个查询和200个加载任务;
应用查询时间对于数据库的简单数据读取将不超过1~2秒,三个月统计计算查询时间将不超过15秒,复杂查询时间将不超过1分钟;
复杂批处理任务,ETL的处理时间将不超过2个小时;
实时流处理指标:
平台支持接收峰值为每秒100万条+的流数据;
平台能够在峰值条件下,完成2秒内的实时预警,2秒内完成针对当日数据的查询;
平台每日实时处理模块能够累积处理144亿笔(按4小时交易日保持峰值流速计)订单流数据;
平台支持至少50个并发访问/查询当日数据。
应用响应指标:
数仓应用项目离线报表30秒内完成数据响应查询;
实时大屏数据展示5秒内完成数据响应查询;
应用平台支持并发执行500个用户查询请求;
*类型* | *业务场景* | *业务场 |
---|