今日指数项目之需求调研【三】_华为fusioninsight基于apache进行功能增强的企业级大数据存储、查询和分析的

本文详细阐述了大数据平台的关键性能指标,包括批处理和实时流处理的吞吐量、响应时间和并发能力,以及存储容量设计和技术组件的选择。同时对比了Apache开源社区版本与企业级大数据平台如CDH、HDP和FusionInsight的优缺点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

性能指标

大数据平台作为底层的基础数据平台,集群规模、计算存储性能将决定流、批的性能指标上限。所以需要考虑整个大数据平台的吞吐量(网络、磁盘IO)、响应速率、计算能力、高并发性、高可用、维护性方便等,以满足多业务场景下,不同应用需求的建设任务,比如多维分析、实时计算、即席查询和数据统计分析等应用功能。
本项目大数据平台在建设过程中,将满足如下性能指标:
批处理部分指标:
支持批处理集群批量总写入速度2GB/秒,批量读取速度300MB/秒;
平台支持并发执行300个查询和200个加载任务;
应用查询时间对于数据库的简单数据读取将不超过1~2秒,三个月统计计算查询时间将不超过15秒,复杂查询时间将不超过1分钟;
复杂批处理任务,ETL的处理时间将不超过2个小时;
实时流处理指标:
平台支持接收峰值为每秒100万条+的流数据;
平台能够在峰值条件下,完成2秒内的实时预警,2秒内完成针对当日数据的查询;
平台每日实时处理模块能够累积处理144亿笔(按4小时交易日保持峰值流速计)订单流数据;
平台支持至少50个并发访问/查询当日数据。
应用响应指标:
数仓应用项目离线报表30秒内完成数据响应查询;
实时大屏数据展示5秒内完成数据响应查询;
应用平台支持并发执行500个用户查询请求;

*类型* *业务场景* *业务场
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值