mysql避免笛卡尔积_避免hive笛卡尔积

(特别要注意笛卡尔积的产生)

业务中需要的是

比如:

(要出前台报表展现)

省份 用户总数 活跃总数 订购总数

表1：省份---用户表

表2：省份---活跃表

表3：省份---订购表

理论上：都是三张表拼凑在一起，没有任何关联

但是我当时处理的是：

方式2：

通过省份把三张表关联起来勒，这样变成了：省份 用户 活跃 订购 表勒

那么必然你最后汇总求和就会出现笛卡尔积

一个省 一个用户 第1个活跃 对应--->所有订购表

一个省 一个用户 第2个活跃 对应----> 所有订购表

。。。

一个省 一个用户 所有活跃 对应--->(所有活跃对应的订购表求和)

。。。

一个省 所有用户 对应(所有活跃的求和) (所有订购表的求和)

是不是：问题出来勒 ，笛卡尔积产生了！

就当与简单例子：

学校 学生总数 课程总数

1        100        10        (就这一条数据)

但是如果你关联以后再求

1         1         10             (学校1 ，1个学生对应10门课)

1         2         10              (学校1，2个学生对应也是10门课)

。。。

1        100        10

汇总结果：

1        100        1000         (学校1,100个学生对应1000门课)

Hive本身是不支持笛卡尔积的，不能用select T1.*, T2.* from table_1, table_2这种语法。但有时候确实需要用到笛卡尔积的时候，可以用下面的语法来实现同样的效果：

select T1.*, T2.* from

(select * from table1) T1

join

(select * from table2) T2

on 1=1;

其中on 1=1是可选的，注意在Hive的Strict模式下不能用这种语法，需要先用set hive.mapred.mode=nonstrict;设为非strict模式就可以用了。