基于spark之上的即席分析-卓越性能

为探索性分析与即席分析而设计 
YDB全称延云YDB:是一个基于 Hadoop 分布式 架构 下的实时的、多维的、交互式的查询、统计、分析引擎,具有万亿数据规模下的秒级性能表现,并具备企业级的稳定可靠表现。 
YDB是一个细粒度的索引:精确粒度的索引。数据即时导入,索引即时生成,通过索引高效定位到相关数据。YDB与 Spark 深度集成,Spark直接对YDB检索结果集分析计算,同样场景让Spark性能加快百倍。 
1. 稽查布控场景性能 
这里写图片描述  
2. 卓越的检索与分析性能 
与 Spark txt 性能对比(提升倍数) 
这里写图片描述  
与 Parquet 格式对比(单位为秒) 
这里写图片描述  
这里写图片描述  
这里写图片描述  
这里写图片描述  
这里写图片描述  
这里写图片描述  
这里写图片描述  
与  Oracle  性能对比 
这里写图片描述  
3. 卓越的排序性能 
按照时间逆序排序可以说是很多日志系统的硬指标。在延云 YDB 系统中,我们改变了传统的暴力排序方式,通过索引技术,可以超快对数据进行单列排序,不需要全表暴力扫描,这个技术我们称之为 BlockSort,目前支持 tlong、 tdouble、 tint、 tfloat 四种数据类型。 
由于 BlockSort 是借助搜索的索引来实现的,所以采用 BlockSort 的排序,不需要暴力扫描,性能有大幅度的提升。 
BlockSort 的排序,并非是预计算的方式,可以进行全表进行排序,也可以基于任意的过滤筛选条件进行过滤排序。 
详细 测试 地址:  http://blog.csdn.net/qq_33160722/article/details/54447022  
300亿条数据的排序演示视频  http://blog.csdn.net/qq_33160722/article/details/54834896  
测试结果(时间单位为秒) 
这里写图片描述
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值