spark 笛卡尔积优化

因业务需求，需对两份数据进行关联，然后进行计算，然后想到笛卡尔积。在最开始用spark对他进行处理的时候，他总是卡死在一个地方跑不出数据。需对其进行优化。

1. 任务代码

data1 = hc.sql(" select a.*,b.*  from tableA a ,tableB b").rdd.map(list)
   

2. 优化方式1
对数据进行分区rdd.repartition(50)，看后台任务信息，只有两个任务在运行，所以这个设置并不起作用。那么应该是要从数据源头进行设置。即对hive进行一些优化。

sqlContext.setConf('mapred.reduce.tasks',100)
sqlContext.setConf('mapred.max.split.size',1000000)
sqlContext.setConf('mapred.min.split.size',1000000)
sqlContext.setConf('mapred.map.tasks',100)

这是因为其中一个表较小，进行数据分块的时候只够分一块数据。所以相当于在单线程运行。那么就设置数据分块的大小。

2. 优化方式2
经上面优化后，运行速度有了很大的提升。再进一步优化需把小表进行广播，这样会减少spark的shuffle操作。

sqlContext.setConf('spark.sql.autoBroadcastJoinThreshold',100)

spark是默认10m会进行广播，我这里设置为100m。