YDB on Spark 性能测试

最新推荐文章于 2024-04-27 20:28:20 发布
最新推荐文章于 2024-04-27 20:28:20 发布
阅读量1k 收藏
点赞数
文章标签： 大数据 spark 全文检索 性能测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33160722/article/details/50445683
版权

YDB on Spark 性能测试

关于ydb on spark的介绍，请阅读该文：http://ycloud.net.cn/newsitem/277227270

本文测试的目的是用来比对 使用原生Spark与 YDB on Spark上的性能差异。

如果您感兴趣想要亲自测试，请访问http://ycloud.net.cn获取延云YDB，自行测试。

统计项

小范围扫描:命中18万
       ydb_day='20151202' and ydb_province='辽宁'

中等范围扫描:命中1800万
       （ydb_province='辽宁'）

全表扫描：总数据量2亿

分类统计项原生Spark查询耗时Ydb on Spark 查询耗时比较相差倍数原生Spark查询耗时Ydb on Spark 查询耗时比较相差倍数原生Spark查询耗时Ydb on Spark 查询耗时比较相差倍数
count(*)count(*)1320.439快3001441快1441560.06快2600
Top    n排序低维值列ydb_age排序2763快922885快5760011快54
高纬值列phonenum排序2853快952764快6959425快23
max,min统计高纬值列phonenum的max,min统计1500.689快2171442快7218616快11
group    by低维值列ydb_sex的单列group    by1641.838快891441.838快721597快22
低维值列ydb_province的单列group by1461.22快1191502快751448快18
高维值列usernick的单列group by1441.034快1391621.034快5.4144282慢2
高维值列phonenum的单列group by1502.043快7314472快2384722慢1.8
低维值列ydb_sex,ydb_province的多列group by与排序1501.3快1151381.3快4618026快6.9
高维值与低维值列usernick,ydb_zhiye的多列group by与排序1772快8816872快2.3336720慢2.14
count（distinct）低维值列ydb_sex的count（distinct）1680.428快3921561快1561324快33
低维值列ydb_province的count（distinct1501快1501381快1381442快72
高维值列usernick的count（distinct）1503快5016229快5.5156276慢1.76
高维值列phonenum的count（distinct）1562快781682快1.75516996慢1.93

一、数据以及硬件条件

1.数据条数:2亿

数据生成程序源码放在了ydb发布包的data_example目录下，文件名称为：MrMakeShuData.java

 

 

 

 

 

 

 

 

 

 

 

2.硬件条件

机器为阿里云的虚拟机，非物理机器，购买的机器配置如下图

磁盘如下

 

 

 

 

3.sparkSql启动

              ./spark-sql --master spark://10.44.20.175:7077 --executor-memory 512m 2>spark.log

 

二、数据表结构

YDB数据表结构：

 create table ydb_example_shu(

        phonenum long,        usernick string,        ydb_sex string,        ydb_province string,        ydb_grade string,        ydb_age string,        ydb_blood string,        ydb_zhiye string,        ydb_earn string,        ydb_prefer string,        ydb_consume string,        ydb_day string,        content textcjk

)

 

spark的表结构

CREATE external  table ydb_example_shu_spark( phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string, content string) row format delimited fields terminated by ',' location '/data/ydb/shu';

 

 

 

 

 

 

 

 

 

 

三、原生spark与spark on ydb占用存储空间对比【22vs10 单位g】

类型

耗时

备注

原生spark

22g

Spark on ydb

 

 

 

 

 

四、原生spark与spark on ydb性能对比-小范围扫描（ydb_day='20151202' and ydb_province='辽宁'，命中18万）

1.count(*) 结果 【132 vs 0.439快300倍】

类型

耗时

备注

原生spark

132秒

select count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' limit 10

Spark on ydb

439毫秒

select sum(cnt) from spark_on_ydb_small__count limit 10

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__count (

cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select count(*) from  ydb_example_shu where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  limit 0,10"

);

 

2.Top n排序

低维值列ydb_age排序【276 vs 3快92倍】

类型

时间

备注

原生spark

276秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' order by ydb_age desc limit 10;

Spark on ydb

3秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from spark_on_ydb_small__orderby_ydb_age  order by ydb_age  desc limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__orderby_ydb_age (

phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu  where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  order by ydb_age  desc limit 0,10"

);

 

 

 

 

高纬值列phonenum排序【285 vs 3 快95倍】

类型

时间

备注

原生spark

285秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' order by phonenum desc limit 10;

Spark on ydb

3秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from spark_on_ydb_small__orderby_phonenum  order by phonenum desc limit 10;

 

ydb与spark的映射配置

 

CREATE external  TABLE spark_on_ydb_small__orderby_phonenum (

phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu  where ydbpartion='20151231' and ydb_day='20151202' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  order by phonenum desc limit 0,10"

);

 

 

 

3.高纬值列phonenum的max,min统计【150 vs 0.689 快217倍】

按照ydb_age排序（维值低）

类型

时间

备注

原生spark

150秒

select max(phonenum),min(phonenum) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' limit 10;

Spark on ydb

0.689秒

select max(phonenum1),min(phonenum2) from spark_on_ydb_small__stat limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__stat (

phonenum1 bigint, phonenum2 bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select max(phonenum),min(phonenum) from ydb_example_shu  where ydbpartion='20151231' and ydb_day='20151202' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000' limit 0,10"

);

 

 

 

 

4.分类汇总统计group by

低维值列ydb_sex的单列group by【164 vs 1.838 快89倍】

类型

时间

备注

原生spark

164秒

select ydb_sex,count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' group by ydb_sex limit 10;

Spark on ydb

1.838秒

select ydb_sex,sum(cnt) from spark_on_ydb_small__groupby_ydb_age  group by ydb_sex limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_ydb_age (

ydb_sex string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and  ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex  limit 0,10"

);

 

低维值列ydb_province的单列group by【146 vs 1.22 快119倍】

类型

时间

备注

原生spark

146秒

select ydb_province,count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' group by ydb_province limit 10;

Spark on ydb

1.22秒

select ydb_province,sum(cnt) from spark_on_ydb_small__groupby_ydb_ppp  group by ydb_province limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_ydb_ppp (

ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_day='20151202' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_province  limit 0,10"

);

 

 

 

 

高维值列usernick的单列group by【144 vs 1.034 快139倍】

类型

时间

备注

原生spark

144秒

select usernick,count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' group by usernick limit 10;

Spark on ydb

1.034秒

select usernick,sum(cnt) from spark_on_ydb_small__groupby_usernick  group by usernick limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_usernick (

usernick string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick limit 0,10"

);

 

 

 

 

 

 

高维值列phonenum的单列group by【150 vs 2.043快73倍】

类型

时间

备注

原生spark

150秒

select phonenum,count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' group by phonenum limit 10;

Spark on ydb

2.043秒

select phonenum,sum(cnt) from spark_on_ydb_small__groupby_phonenum  group by phonenum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_phonenum (

phonenum bigint, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_day='20151202' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by phonenum  limit 0,10"

);

 

 

 

 

 

 

低维值列ydb_sex,ydb_province的多列group by与排序【150 vs 1.3 快115倍】

类型

时间

备注

原生spark

150秒

select ydb_sex, ydb_province,count(*) as cnt from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' group by ydb_sex, ydb_province order by cnt desc limit 10;

Spark on ydb

1.3秒

select ydb_sex, ydb_province,sum(cnt) as cntsum from spark_on_ydb_small__groupby_ydb_age_sort_m  group by ydb_sex, ydb_province order by cntsum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_ydb_age_sort_m (

ydb_sex string, ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex,ydb_province  limit 0,10"

);

 

高维值与低维值列usernick,ydb_zhiye的多列group by与排序【177 vs 2 快88倍】

类型

时间

备注

原生spark

177秒

select usernick, ydb_zhiye,count(*) as cnt from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' group by usernick, ydb_zhiye order by cnt desc limit 10;

Spark on ydb

2秒

select usernick, ydb_zhiye,sum(cnt) as cntsuma from spark_on_ydb_small__groupby_zhiye_sort_m  group by usernick, ydb_zhiye order by cntsuma desc limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_zhiye_sort_m (

usernick string, ydb_zhiye string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick, ydb_zhiye,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick,ydb_zhiye  limit 0,10"

);

 

 

5.count（distinct）排重统计

低维值列ydb_sex的count（distinct）【168 vs 0.428 快392倍】

类型

时间

备注

原生spark

168秒

select count(distinct ydb_sex),count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' limit 10;

Spark on ydb

0.428秒

select count(distinct ydb_sex),sum(cnt) from spark_on_ydb_small__groupby_ydb_age_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_ydb_age_dd (

ydb_sex string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex  limit 0,10"

);

 

 

 

低维值列ydb_province的count（distinct）【150 vs 1 快150倍】

类型

时间

备注

原生spark

150秒

select count(distinct ydb_province),count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' limit 10;

Spark on ydb

1秒

select count(distinct ydb_province),sum(cnt) from spark_on_ydb_small__groupby_ydb_ppp_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_ydb_ppp_dd (

ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_day='20151202' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_province  limit 0,10"

);

 

 

 

 

 

 

 

高维值列usernick的count（distinct）【150 vs 3 快50倍】

类型

时间

备注

原生spark

150秒

select count(distinct usernick),count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' limit 10;

Spark on ydb

3s

select count(distinct usernick),sum(cnt) from spark_on_ydb_small__groupby_usernick_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_usernick_dd (

usernick string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_day='20151202' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

 

高维值列phonenum的count（distinct）【156 vs 2 快78倍】

类型

时间

备注

原生spark

156秒

select count(distinct phonenum),count(*) from ydb_example_shu_spark where ydb_day='20151202' and ydb_province='辽宁' limit 10;

Spark on ydb

2秒

select count(distinct phonenum),sum(cnt) from spark_on_ydb_small__groupby_phonenum_dd  limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_small__groupby_phonenum_dd (

phonenum bigint, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_day='20151202' and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by phonenum  limit 0,10"

);

 

 

 

 

 

 

 

 

五、原生spark与spark on ydb性能对比-中等范围扫描（ydb_province='辽宁'命中1800万）

1.count(*) 结果 【144 vs 1快144倍】

类型

耗时

备注

原生spark

144秒

select count(*) from ydb_example_shu_spark where ydb_province='辽宁' limit 10

Spark on ydb

1秒

select sum(cnt) from spark_on_ydb_middle__count limit 10

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__count (

cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select count(*) from  ydb_example_shu where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  limit 0,10"

);

 

 

 

 

 

 

2.Top n排序

低维值列ydb_age排序【288 vs 5快57倍】

类型

时间

备注

原生spark

288秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu_spark where ydb_province='辽宁' order by ydb_age desc limit 10;

Spark on ydb

5秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from spark_on_ydb_middle__orderby_ydb_age  order by ydb_age  desc limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__orderby_ydb_age (

phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu  where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  order by ydb_age  desc limit 0,10"

);

 

 

 

 

高纬值列phonenum排序【276 vs 4 快69倍】

类型

时间

备注

原生spark

276秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu_spark where ydb_province='辽宁' order by phonenum desc limit 10;

Spark on ydb

4秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from spark_on_ydb_middle__orderby_phonenum  order by phonenum desc limit 10;

 

ydb与spark的映射配置

 

CREATE external  TABLE spark_on_ydb_middle__orderby_phonenum (

phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu  where ydbpartion='20151231' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  order by phonenum desc limit 0,10"

);

 

 

 

3.高纬值列phonenum的max,min统计【144 vs 2 快72倍】

类型

时间

备注

原生spark

144秒

select max(phonenum),min(phonenum) from ydb_example_shu_spark where ydb_province='辽宁' limit 10;

Spark on ydb

2秒

select max(phonenum1),min(phonenum2) from spark_on_ydb_middle__stat limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__stat (

phonenum1 bigint, phonenum2 bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select max(phonenum),min(phonenum) from ydb_example_shu  where ydbpartion='20151231' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000' limit 0,10"

);

 

 

 

 

4.分类汇总统计group by

低维值列ydb_sex的单列group by【144 vs 1.838 快72倍】

类型

时间

备注

原生spark

144秒

select ydb_sex,count(*) from ydb_example_shu_spark where ydb_province='辽宁' group by ydb_sex limit 10;

Spark on ydb

2秒

select ydb_sex,sum(cnt) from spark_on_ydb_middle__groupby_ydb_age  group by ydb_sex limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_ydb_age (

ydb_sex string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and  ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex  limit 0,10"

);

 

 

 

 

 

 

 

 

低维值列ydb_province的单列group by【150 vs 2 快75倍】

类型

时间

备注

原生spark

150秒

select ydb_province,count(*) from ydb_example_shu_spark where ydb_province='辽宁' group by ydb_province limit 10;

Spark on ydb

2秒

select ydb_province,sum(cnt) from spark_on_ydb_middle__groupby_ydb_ppp  group by ydb_province limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_ydb_ppp (

ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_province  limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

高维值列usernick的单列group by【162 vs 1.034 快5.4倍】

类型

时间

备注

原生spark

162秒

select usernick,count(*) from ydb_example_shu_spark where ydb_province='辽宁' group by usernick limit 10;

Spark on ydb

30秒

select usernick,sum(cnt) from spark_on_ydb_middle__groupby_usernick  group by usernick limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_usernick (

usernick string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

高维值列phonenum的单列group by【144 vs 72快2倍】

类型

时间

备注

原生spark

144秒

select phonenum,count(*) from ydb_example_shu_spark where ydb_province='辽宁' group by phonenum limit 10;

Spark on ydb

72秒

select phonenum,sum(cnt) from spark_on_ydb_middle__groupby_phonenum  group by phonenum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_phonenum (

phonenum bigint, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by phonenum  limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

低维值列ydb_sex,ydb_province的多列group by与排序【138 vs 1.3 快46倍】

类型

时间

备注

原生spark

138秒

select ydb_sex, ydb_province,count(*) as cnt from ydb_example_shu_spark where ydb_province='辽宁' group by ydb_sex, ydb_province order by cnt desc limit 10;

Spark on ydb

3秒

select ydb_sex, ydb_province,sum(cnt) as cntsum from spark_on_ydb_middle__groupby_ydb_age_sort_m  group by ydb_sex, ydb_province order by cntsum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_ydb_age_sort_m (

ydb_sex string, ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex,ydb_province  limit 0,10"

);

 

 

 

 

 

 

 

高维值与低维值列usernick,ydb_zhiye的多列group by与排序【168 vs 72 快2.3倍】

类型

时间

备注

原生spark

168秒

select usernick, ydb_zhiye,count(*) as cnt from ydb_example_shu_spark where ydb_province='辽宁' group by usernick, ydb_zhiye order by cnt desc limit 10;

Spark on ydb

72秒

select usernick, ydb_zhiye,sum(cnt) as cntsuma from spark_on_ydb_middle__groupby_zhiye_sort_m  group by usernick, ydb_zhiye order by cntsuma desc limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_zhiye_sort_m (

usernick string, ydb_zhiye string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick, ydb_zhiye,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick,ydb_zhiye  limit 0,10"

);

 

 

 

 

 

5.count（distinct）排重统计

低维值列ydb_sex的count（distinct）【156 vs 1 快156倍】

类型

时间

备注

原生spark

156秒

select count(distinct ydb_sex),count(*) from ydb_example_shu_spark where ydb_province='辽宁' limit 10;

Spark on ydb

1秒

select count(distinct ydb_sex),sum(cnt) from spark_on_ydb_middle__groupby_ydb_age_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_ydb_age_dd (

ydb_sex string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex  limit 0,10"

);

 

 

 

 

 

 

 

 

低维值列ydb_zhiye的count（distinct）【138 vs 1 快138倍】

类型

时间

备注

原生spark

138秒

select count(distinct ydb_zhiye),count(*) from ydb_example_shu_spark where ydb_province='辽宁' limit 10;

Spark on ydb

1秒

select count(distinct ydb_zhiye),sum(cnt) from spark_on_ydb_middle__groupby_ydb_ppp_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_ydb_ppp_dd (

ydb_zhiye string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_zhiye,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_zhiye  limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

高维值列usernick的count（distinct）【162 vs 29 快5.5倍】

类型

时间

备注

原生spark

162秒

select count(distinct usernick),count(*) from ydb_example_shu_spark where ydb_province='辽宁' limit 10;

Spark on ydb

29秒

select count(distinct usernick),sum(cnt) from spark_on_ydb_middle__groupby_usernick_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_usernick_dd (

usernick string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick,count(*)  from ydb_example_shu  where ydbpartion='20151231' and ydb_province='辽宁'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

高维值列phonenum的count（distinct）【168 vs 2 快1.75倍】

类型

时间

备注

原生spark

168秒

select count(distinct phonenum),count(*) from ydb_example_shu_spark where ydb_province='辽宁' limit 10;

Spark on ydb

96秒

select count(distinct phonenum),sum(cnt) from spark_on_ydb_middle__groupby_phonenum_dd  limit 10;

 

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_middle__groupby_phonenum_dd (

phonenum bigint, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydb_province='辽宁' and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by phonenum  limit 0,10"

);

 

 

 

 

 

 

 

 

 

六、原生spark与spark on ydb性能对比-全表扫描

1.count(*) 结果 【156 vs 0.06快2600倍】

类型

耗时

备注

原生spark

156秒

select count(*) from ydb_example_shu_spark limit 10

Spark on ydb

60毫秒

select sum(cnt) from spark_on_ydb_count limit 10

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_count (

cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select count(*) from  ydb_example_shu where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  limit 0,10"

);

 

 

 

 

 

2.Top n排序

低维值列ydb_age排序【600 vs 11 快54倍】

类型

时间

备注

原生spark

600秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu_spark order by ydb_age desc limit 10;

Spark on ydb

11秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from spark_on_ydb_orderby_ydb_age  order by ydb_age  desc limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_orderby_ydb_age (

phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  order by ydb_age  desc limit 0,10"

);

 

 

 

 

高纬值列phonenum排序【594 vs 25 快23倍】

类型

时间

备注

原生spark

594秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu_spark order by phonenum desc limit 10;

Spark on ydb

25秒

select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from spark_on_ydb_orderby_phonenum  order by phonenum desc limit 10;

 

ydb与spark的映射配置

 

CREATE external  TABLE spark_on_ydb_orderby_phonenum (

phonenum bigint, usernick string, ydb_sex string, ydb_province string, ydb_grade string, ydb_age string, ydb_blood string, ydb_zhiye string, ydb_earn string, ydb_prefer string, ydb_consume string, ydb_day string

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,usernick,ydb_sex,ydb_province,ydb_grade,ydb_age,ydb_blood,ydb_zhiye,ydb_earn,ydb_prefer,ydb_consume,ydb_day from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  order by phonenum desc limit 0,10"

);

 

 

 

3.高纬值列phonenum的max,min统计【186 vs 16 快11倍】

按照ydb_age排序（维值低）

类型

时间

备注

原生spark

186秒

select max(phonenum),min(phonenum) from ydb_example_shu_spark limit 10;

Spark on ydb

16秒

select max(phonenum1),min(phonenum2) from spark_on_ydb_stat limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_stat (

phonenum1 bigint, phonenum2 bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select max(phonenum),min(phonenum) from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000' limit 0,10"

);

 

 

 

 

 

 

 

4.分类汇总统计group by

低维值列ydb_sex的单列group by【159 vs 7 快22倍】

类型

时间

备注

原生spark

159秒

select ydb_sex,count(*) from ydb_example_shu_spark group by ydb_sex limit 10;

Spark on ydb

7秒

select ydb_sex,sum(cnt) from spark_on_ydb_groupby_ydb_age  group by ydb_sex limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_ydb_age (

ydb_sex string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex  limit 0,10"

);

 

 

低维值列ydb_province的单列group by【144 vs 8 快18倍】

类型

时间

备注

原生spark

144秒

select ydb_province,count(*) from ydb_example_shu_spark group by ydb_province limit 10;

Spark on ydb

8秒

select ydb_province,sum(cnt) from spark_on_ydb_groupby_ydb_ppp  group by ydb_province limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_ydb_ppp (

ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_province  limit 0,10"

);

 

 

 

 

 

高维值列usernick的单列group by【144 vs 282 慢2倍】

类型

时间

备注

原生spark

144秒

select usernick,count(*) from ydb_example_shu_spark group by usernick limit 10;

Spark on ydb

282s

select usernick,sum(cnt) from spark_on_ydb_groupby_usernick  group by usernick limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_usernick (

usernick string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick limit 0,10"

);

 

 

 

 

 

 

 

 

 

高维值列phonenum的单列group by【384 vs 722慢1.8倍】

类型

时间

备注

原生spark

384秒

select phonenum,count(*) from ydb_example_shu_spark group by phonenum limit 10;

Spark on ydb

722秒

select phonenum,sum(cnt) from spark_on_ydb_groupby_phonenum  group by phonenum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_phonenum (

phonenum bigint, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by phonenum  limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

 

 

低维值列ydb_sex,ydb_province的多列group by与排序【180 vs 26 快6.9倍】

类型

时间

备注

原生spark

180秒

select ydb_sex, ydb_province,count(*) as cnt from ydb_example_shu_spark group by ydb_sex, ydb_province order by cnt desc limit 10;

Spark on ydb

26秒

select ydb_sex, ydb_province,sum(cnt) as cntsum from spark_on_ydb_groupby_ydb_age_sort_m  group by ydb_sex, ydb_province order by cntsum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_ydb_age_sort_m (

ydb_sex string, ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex,ydb_province  limit 0,10"

);

 

 

 

 

 

 

 

 

 

 

高维值与低维值列usernick,ydb_zhiye的多列group by与排序【336 vs 720慢2.14倍】

类型

时间

备注

原生spark

336秒

select usernick, ydb_zhiye,count(*) as cnt from ydb_example_shu_spark group by usernick, ydb_zhiye order by cnt desc limit 10;

Spark on ydb

720秒

select usernick, ydb_zhiye,sum(cnt) as cntsum from spark_on_ydb_groupby_zhiye_sort_m  group by usernick, ydb_zhiye order by cntsum limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_zhiye_sort_m (

usernick string, ydb_zhiye string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick, ydb_zhiye,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick,ydb_zhiye  limit 0,10"

);

 

 

 

 

 

 

 

 

5.count（distinct）排重统计

低维值列ydb_sex的count（distinct）【132 vs 4 快33倍】

类型

时间

备注

原生spark

132秒

select count(distinct ydb_sex),count(*) from ydb_example_shu_spark limit 10;

Spark on ydb

4秒

select count(distinct ydb_sex),sum(cnt) from spark_on_ydb_groupby_ydb_age_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_ydb_age_dd (

ydb_sex string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_sex,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_sex  limit 0,10"

);

 

 

 

 

 

 

低维值列ydb_province的count（distinct）【144 vs 2 快72倍】

类型

时间

备注

原生spark

144秒

select count(distinct ydb_province),count(*) from ydb_example_shu_spark limit 10;

Spark on ydb

2秒

select count(distinct ydb_province),sum(cnt) from spark_on_ydb_groupby_ydb_ppp_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_ydb_ppp_dd (

ydb_province string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select ydb_province,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by ydb_province  limit 0,10"

);

 

 

 

 

 

 

 

 

 

高维值列usernick的count（distinct）【156 vs 276 慢1.76倍】

类型

时间

备注

原生spark

156秒

select count(distinct usernick),count(*) from ydb_example_shu_spark limit 10;

Spark on ydb

276s

select count(distinct usernick),sum(cnt) from spark_on_ydb_groupby_usernick_dd limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_usernick_dd (

usernick string, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select usernick,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by usernick limit 0,10"

);

 

 

 

 

 

 

 

 

 

高维值列phonenum的count（distinct）【516 vs 996 慢1.93倍】

类型

时间

备注

原生spark

516秒

select count(distinct phonenum),count(*) from ydb_example_shu_spark limit 10;

 

Spark on ydb

996秒

select count(distinct phonenum),sum(cnt) from spark_on_ydb_groupby_phonenum_dd  limit 10;

ydb与spark的映射配置

CREATE external  TABLE spark_on_ydb_groupby_phonenum_dd (

phonenum bigint, cnt bigint

)   

STORED BY 'cn.net.ycloud.ydb.handle.YdbStorageHandler' 

TBLPROPERTIES  (

"ydb.handler.hostport"="101.200.130.48:8080",

"ydb.handler.sql.key"="ydb.sql.ydbhive_example_bigdata",

 "ydb.handler.sql"=" select phonenum,count(*)  from ydb_example_shu  where ydbpartion='20151231'  and ydbkv='export.joinchar:%01' and ydbkv='export.max.return.docset.size:100000000' and ydbkv='max.return.docset.size:100000000'  group by phonenum  limit 0,10"

);

 

 

 

 


qq_33160722
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark在不同存储格式下的性能对比
03-06
笔者发现，很多同学在各种项目中尝试使用Spark，大多数同学最初开始尝试使用Spark的原因都很简单，主要就是为了让大数据计算作业的...本文测试的目的是用来对比 Spark 三种存储格式TEXT、PARQUET、YDB的在性能差异。
YDB技术原理
z02_ejdazhi的博客
02-20 363
第十二章YDB技术原理 一、铺一条让Spark跑的更快的路   二、YDB的本质 在Spark之上基于搜索引擎技术，实现索引和搜索功能。 既有搜索引擎的查询速度，又有Spark强大的分析计算能力。 可对多个字段进行关键字全匹配或模糊匹配检索，并可对检索结果集进行分组、排序、计算等统计分析操作。   三、多种技术
Spark性能优化之通过YDB实现比原生Spark性能高100倍的多表关联
qq_33160722的博客
04-03 1008
多表关联Join在Spark数据分析中是一个不可或缺的一部，我们以商品交易记录表（trade表）与用户信息表为例（user表）来阐述下如何实现高性能的多表关联分析。 经常会遇到这种情形，我们需要先找出【某一个省份】【工商银行】【交易金额在150~160元】的所有用户，并通过与用户信息表进行关联得到该用户的手机号，性别，年龄，职业等信息。 Spark的传统做法是对双表都进行暴力扫描，需要对tra
YDB,一种Spark快速数据分析替代方案
muyannian的专栏
03-12 3703
排序可以说是很多日志系统的硬指标（如按照时间逆序排序），如果一个大数据系统不能进行排序，基本上是这个系统属于不可用状态，排序算得上是大数据系统的一个“刚需”,无论大数据采用的是hadoop,还是spark，还是impala,hive，总之排序是必不可少的，排序的性能测试也是必不可少的。 有着计算奥运会之称的Sort Benchmark全球排序每年都会举行一次，每年巨头都会在排序上进行巨大的投入，
YDB的安装部署
ydb_jason的博客
11-07 2055
之前学习了，Hadoop的安装及部署，现在开始应用本公司的YDB产品安装。 首先需要的系统，架包，版本等； 1.操作系统 Centos 6.x 64bit 不推荐过老或过新的操作系统，诸多hadoop厂商的发行版在过老或过新的系统上有问题。 2.Java JDK1.7及以上版本 3.Hadoop 2.6及以上版本，需要支持yarn 4.Zookeeper    zookee
YDB与spark SQL在百亿级数据上的性能对比测试
qq_33160722的博客
01-15 3858
按照时间逆序排序可以说是很多日志系统的硬指标。在延云YDB系统中，我们改变了传统的暴力排序方式，通过索引技术，可以超快对数据进行单列排序，不需要全表暴力扫描，这个技术我们称之为blockSort，目前支持tlong,tdouble,tint,tfloat四种数据类型。         由于blockSort是借助搜索的索引来实现的，所以,采用blockSort的排序，不需要暴力扫描，性能有大幅度 为此，我们针对spark sql与YDB在排序性能上做了一个比较性的测试
YDB之大数据时代
07-06
YDB之大数据时代是现在大数据发展的前沿科技
延云ydbOnSpark的性能测试报告
01-01
关于ydb on spark的介绍，请阅读该文：...本文测试的目的是用来比对 使用原生Spark与 YDB on Spark上的性能差异。 如果您感兴趣想要亲自测试，请访问http://ycloud.net.cn获取延云YDB，自行测试。
YDB编程指南
01-12
延云YDB安装与使用说明书超千亿规模的数据,数据库根本就运行不了,怎么办? 数据从产生到能够查询,要延迟一天才能看到,如何能做到分钟级延迟?
YDB编程指南-预览版
01-03
YDB全称延云YDB，是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎，具有万亿数据规模下的秒级...YDB与Spark深度集成，Spark直接对YDB检索结果集分析计算，同样场景让Spark性能加快百倍。
在Spark中如何通过YDB实现比原生Spark性能高100倍的多表关联
qq_33160722的博客
01-08 1349
多表关联Join在Spark数据分析中是一个不可或缺的一部，我们以商品交易记录表（trade表）与用户信息表为例（user表）来阐述下如何实现高性能的多表关联分析。 经常会遇到这种情形，我们需要先找出【某一个省份】【工商银行】【交易金额在150~160元】的所有用户，并通过与用户信息表进行关联得到该用户的手机号，性别，年龄，职业等信息。 Spark的传统做法是对双表都进行暴力扫描，需要
spark性能调优与BUG修正
qq_33160722的博客
03-06 847
做了一年延云YDB的开发，这一年在使用spark上真心踩了不少坑，总结一下，希望对大家有所帮助。 spark 内存泄露 1.高并发情况下的内存泄露的具体表现 很遗憾，spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 a)在进行大量小SQL的压测过程中发现，有大量的activejob在spar
YDB基本使用详解
qq_33160722的博客
02-19 4554
第七章YDB基本使用详解 一、如何与YDB对接（交互） 目前延云YDB提供如下几种方式 l命令行的方式 lWeb http接口的方式 lJDBC接口的方式 通过JAVA编程接入 通过可视化SQL分析统计接入 通过报表分析工具接入 二、命令行接入 进入ya100的安装目录的bin目录 1.直接执行 ./conn.sh 即可。 2
YDB运维必读
qq_33160722的博客
02-19 1973
一、YDB升级步骤 1.停止YDB服务       通过./stop-all.sh来停止服务（注：HDP版本需要在管理页面上停止服务） 2.备份旧程序 1)备份旧版YDB整个程序目录 2)备份我们自己开发或添加的第三方的jar包和配置文件 3)备份YDB提供的Spark整个程序目录 4)备份HIVE本地元数据库       本地元数据库是指Hive元数据库d
Spark使用总结与分享
weixin_34245169的博客
04-05 199
背景     使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。     Spark基础     基石RDD     spark的核心是RDD（弹性分布式数据集），一种...
YDB跟Solr Cloud、ElasticSearch区别
qq_33160722的博客
02-19 841
一、跟Solr Cloud、ElasticSearch区别        谈到YDB的索引技术，相信很多同学都会想到Solr、ElasticSearch。他们俩真可谓是大名鼎鼎，是两个顶级项目，最近有些同学经常问我，“开源世界有Solr、ElasticSearch为什么还要使用YDB?”          在回答这个问题之前，大家可以思考一个问题，既然已经有了Oracle、Mysql等数
云计算知识点-02
最新发布
lv785的博客
04-27 1229
DataNode是HDFS文件系统的工作节点，DataNode会按照客户端或者是NameNode的调度来存储和检索数据，并定期向NameNode发送它所存储的数据块列表，DataNode是文件系统中真正存储数据的地方。通过这种虚拟化可以减少服务器的数量，提高服务器的使用效率，可以在一定程度上摆脱物理上的空间限制，实现随时随地随需的自由掌控。Glance(镜像服务组件)，其作用是：提供虚拟机镜像的存储，查询和检索功能，为nova进行服务，依赖于存储服务（存储镜像本身）和数据库服务（存储镜像相关的数据）。
假设程序中数据定义如下(X、Y、Z、w均为无符号数):X DW10,20.30,40,50 YDB4ZDB?WDB?要求：1、完成如下表达式的计算:≥X/Y Z（商，W一余数2、数据段、代码段的段名分别取跟自己姓名的汉语拼音有关的名字。如:达瓦，分别取D DW、C DW等。
05-25
先解释一下题目中的数据定义： - X DW10,20.30,40,50 表示定义了一个名为 X 的数据段，其中包含了 5 个双字（即 10 个字节）的数据，分别是 10、20.30（实数）、40、50，按照从左到右的顺序存放。 - Y DB4 表示定义了一个名为 Y 的数据段，其中包含了 4 个字节的数据，每个字节都是一个无符号整数。 - Z DB? 表示定义了一个名为 Z 的数据段，其中包含了 1 个字节的数据，初始值未知。 - W DB? 表示定义了一个名为 W 的数据段，其中包含了 1 个字节的数据，初始值未知。 接下来是表达式计算的过程： 1. 将 X 中的所有数据相加得到总和 S，即 S = 10 + 20.30 + 40 + 50 = 120.30。 2. 将 Y 中的所有数据相加得到总和 T，即 T = Y[0] + Y[1] + Y[2] + Y[3]。 3. 计算商 Q 和余数 R，其中 Q = INT(S / T) = INT(120.30 / T)，R = S - Q * T。 4. 将 Q 和 R 分别存入 Z 和 W。 根据以上步骤，可以编写如下代码： ``` ; 数据段 姓名DW DW 0 达瓦DW DW 0 格桑普布DW DW 0 曲吉热巴DW DW 0 扎西次仁DB DB 0, 0, 0, 0 朗杰DB DB ?, 0 ; 代码段 assume cs:代码段, ds:数据段 start: ; 将 X 中的所有数据相加得到总和 S mov eax, [姓名DW] add eax, [达瓦DW] fld [格桑普布DW] fadd dword ptr [曲吉热巴DW] fadd SBYTE ptr [扎西次仁DB] fstp qword ptr [esp] ; 将浮点数结果保存到栈顶 ; 将 Y 中的所有数据相加得到总和 T movzx eax, BYTE ptr [朗杰DB] add al, BYTE ptr [朗杰DB+1] add al, BYTE ptr [朗杰DB+2] add al, BYTE ptr [朗杰DB+3] ; 计算商 Q 和余数 R mov ecx, eax ; ecx = T fild qword ptr [esp] ; 将 S 转为浮点数 fidiv dword ptr [朗杰DB] ; ST(0) = S / T fistp dword ptr [朗杰DB] ; Q = ST(0)，保存到 Z 中 mov ebx, eax ; ebx = Q imul ecx ; edx:eax = T * Q mov eax, [姓名DW] add eax, [达瓦DW] fld [格桑普布DW] fadd dword ptr [曲吉热巴DW] fadd SBYTE ptr [扎西次仁DB] fsub st(0), st(1) ; ST(0) = S - T * Q fistp dword ptr [esp] ; R = ST(0)，保存到 W 中 mov BYTE ptr [朗杰DB+1], al ; 将 R 存入 W 中 ; 程序结束 mov ah, 4ch int 21h end start ``` 需要注意几点： - 浮点数运算需要使用 FPU 指令，而且 FPU 寄存器的操作是栈式的。 - 在进行浮点数运算之前，需要先将整数转为浮点数，可以使用 FILD 指令。 - 在进行整数除法之前，需要先将浮点数转为整数，可以使用 FIST 指令。由于 FIST 指令会将结果存入内存中，因此需要指定存储地址。 - 由于浮点数运算和整数运算使用的寄存器不同，因此需要注意保存和恢复现场。在上面的代码中，将浮点数结果保存到栈顶，然后再从栈顶取出进行整数运算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值