YupDB关联极速版（广播）

… 在YupDB中，能够像使用SQL一样实现两批数据的关联操作，取出两者之间通过某一字段进行关联的交集。这种取交集的方法有两种。
…第一种普通的方法是通过with as 的方式实现。例如
with a1 as (
/yupdb.sql(’->’)/select DATA_ID from datas where yup_partitions =‘20181114’ /(’<-’)sql.yupdb/
),
a2 as (
/yupdb.sql(’->’)/select v_64_y_string_ids as DATA_ID ,yupdb_view_name,yupdb_view_column from alltables where yup_partitions=‘20181114’ /(’<-’)sql.yupdb/
)
select a1.DATA_ID,a2.DATA_ID as a2ATA_ID,a2.yupdb_view_name,a2.yupdb_view_column from a1 LEFT JOIN a2 on (a1.DATA_ID=a2.DATA_ID) and a2.yupdb_view_name <>‘null’ limit 800 ;
通过这种方法能够取到两者的交集数据。但是，当两者的任何一个表数据达到几亿、几十亿时，这个时候数据的返回速度就会很慢。此SQL在查询时耗时20秒。

…第二种方式是通过广播实现快速取交集。例如
YBroadCastBlock@0000000001:10240:over_rand@
select DATA_ID from (select DATA_ID from data_tags where yup_partitions =‘20181114’ ) tmp
@YBroadCastBlock
with
a1 as (
select DATA_ID from datas where yup_partitions =‘20181114’ ),
a2 as (
select v_64_y_string_ids,yupdb_view_name,yupdb_view_column from alltables where yup_partitions =‘20181114’ and raw_query_s like ‘YBroadCastQuery@term@v_64_y_string_ids@0@{YBroadCastId:0000000001}’
)
select a1.DATA_ID,a2.v_64_y_string_ids as a2ATA_ID,a2.yupdb_view_name,a2.yupdb_view_column from a1 LEFT JOIN a2 on (a1.DATA_ID=a2.v_64_y_string_ids ) where a2.yupdb_view_column is not null limit 100 ;
…这种方法效率更高，相同的查询需求，此SQL用时0.6秒。

…为什么广播的查询效率比普通的查询效率快很多呢？ 这便是YupDB针对关联业务场景进行的特定优化。
…在第一种普通查询中，需要将两个表的数据全部获取到（不管能不能匹配到），再去一一进行匹配。这个过程中，数据的读取，两批数据的关联都将消耗较多时间。
…而使用广播的方式中，第一步先使用广播拿到一部分我们想要的数据，关联字段必取（通过where条件进行过滤），这批数据一定在目标命中的结果集合内。第二步，将第一步拿到的数据作为条件放在第二步的查询语句内进行查询，这一步实际是在原有的where条件后面又加入了，新的条件（第一步的数据），对将要获取的数据进行了更精确的约束。第三步，第二步拿到数据后，在与第一步中用到的表全量数据进行关联，或得到最终数据。
当两个表有一个数据量较大时，第一步一定要作用在相对较小的表上。第二步一定要作用在相对较大的表上。这样效率是最高的。