ignite affinity key 并置 究竟是个啥?

先上个pgsql操作的对比,然后引出ignite的并置处理规则

ddl:

drop table student;CREATE TABLE student(sid int PRIMARY KEY ,sname varchar(64), cid int);  
drop table course;CREATE TABLE course(cid int PRIMARY KEY ,cname varchar(64));  
drop table score;CREATE TABLE score(sid int ,cid int,score int,PRIMARY KEY (sid,cid));  

dml:

course表:

cidcname
1yuwen
2shuxue
3yingyu

student表:

sidsnamecid
1zhang1
2wang2
3liu1
4li3
5chen3
6zhao3

score表:

sidcidscore
1199
3199
2250
4379

dql 查询有成绩的学生信息

SELECT student.* FROM student inner JOIN score ON STUDENT 
.sid=score.sid

pgsql结果

sidsnamecid
1zhang1
3liu1
2wang2
4li3

ignite结果

SIDSNAMECID
1zhang1
2wang2

显然,ignite结果不正确,似乎是少了部分结果

ignite 并置:

  • ignite的数据是分布式存在的
  • join类计算只会在本地的数据集上执行,不会跨节点
    因此有两种处理方式:
  1. 设计时就把具有E-R关系的数据分布在相同的节点,此种方式最优,在设计分库分表时也需要考虑这一点
  2. 开启并置处理:affinity_key=sid,即是告诉ignite,涉及到这个字段的计算时,需要把数据广播到其他所有节点,由此可见,当表的数据量较大时,性能很差

改写score表的ddl如下:

CREATE TABLE score(sid int(11) ,cid int(11),score int(11),PRIMARY KEY (sid,cid))
WITH "template=partitioned,backups=1,affinity_key=sid" ;

再执行:

SELECT student.* FROM student inner JOIN score ON STUDENT 
.sid=score.sid

ignite结果

SIDSNAMECID
1zhang1
2wang2
3liu3
4li3

连序都排好了,你说赞不赞 _

file

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值