因业务需求,需对两份数据进行关联,然后进行计算,然后想到笛卡尔积。在最开始用spark对他进行处理的时候,他总是卡死在一个地方跑不出数据。需对其进行优化。
1. 任务代码
data1 = hc.sql(" select a.*,b.* from tableA a ,tableB b").rdd.map(list)
2. 优化方式1
对数据进行分区rdd.repartition(50),看后台任务信息,只有两个任务在运行,所以这个设置并不起作用。那么应该是要从数据源头进行设置。即对hive进行一些优化。
sqlContext.setConf('mapred.reduce.tasks',100)
sqlContext.setConf('mapred.max.split.size',1000000)
sqlContext.setConf('mapred.min.split.size',1000000)
sqlContext.setConf('mapred.map.tasks',100)
这是因为其中一个表较小,进行数据分块的时候只够分一块数据。所以相当于在单线程运行。那么就设置数据分块的大小。
2. 优化方式2
经上面优化后,运行速度有了很大的提升。再进一步优化需把小表进行广播,这样会减少spark的shuffle操作。
sqlContext.setConf('spark.sql.autoBroadcastJoinThreshold',100)
spark是默认10m会进行广播,我这里设置为100m。