1、避免创建重复的RDD val rdd1 = sc.textFile("hdfs://ip:port/log.txt")
val rdd2 = sc.textFile("hdfs://ip:port/log.txt")
(1)对于业务逻辑比较复杂的情况,那么就会产生rdd串比较长,会忘记之前是否创建过相同的RDD。
(2)对于初学者可能会犯这样的错误
2、尽量复用同一个RDD
val rdd1 = (key-value)
rdd2 = rdd1.map(_._2)
rdd2.map(....).count
那么对于这种情况,rdd2完全是rdd1的子集,完全可以直接复用rdd1就可以完成业务逻辑‘
3、rdd的持久化,rdd.cache() rdd.persist() rdd.checkpoint()
persist的时候可以手动指定持久化的级别
MEMORY_ONLY
MEMORY_ONLY_SER
MEMORY_AND_DISK
MEMORY_AND_DISK_SER
DISK_ONLY
DISK_ONLY_SER
MEMORY_AND_DISK_2
MEMORY_AND_DISK_SER_2
DISK_ONLY
DISK_ONLY_2
4、避免shuffle类的算子 distinct reaprtition resuceByKey countByKey groupByKey join
join(broadcast)
val rdd3 = rdd1.join(rdd2)
使用广播变量:
val map = rdd2.collect
val mapBroadcast = sc.broadcast(map)
rdd1.map(mapBroadcast)
5、使用高性能的算子
map mapPartition foreach foreachPartition reduceByKey
6、尽量map端预聚合的算子
reduceByKey aggregateByKey
7、尽量使用多的广播大变量
val listbroadcast= sc.broadcast(list)
rdd1.map(listbroadcast)
8、使用kyro序列化器
9、优化数据结构
val rdd2 = sc.textFile("hdfs://ip:port/log.txt")
(1)对于业务逻辑比较复杂的情况,那么就会产生rdd串比较长,会忘记之前是否创建过相同的RDD。
(2)对于初学者可能会犯这样的错误
2、尽量复用同一个RDD
val rdd1 = (key-value)
rdd2 = rdd1.map(_._2)
rdd2.map(....).count
那么对于这种情况,rdd2完全是rdd1的子集,完全可以直接复用rdd1就可以完成业务逻辑‘
3、rdd的持久化,rdd.cache() rdd.persist() rdd.checkpoint()
persist的时候可以手动指定持久化的级别
MEMORY_ONLY
MEMORY_ONLY_SER
MEMORY_AND_DISK
MEMORY_AND_DISK_SER
DISK_ONLY
DISK_ONLY_SER
MEMORY_AND_DISK_2
MEMORY_AND_DISK_SER_2
DISK_ONLY
DISK_ONLY_2
4、避免shuffle类的算子 distinct reaprtition resuceByKey countByKey groupByKey join
join(broadcast)
val rdd3 = rdd1.join(rdd2)
使用广播变量:
val map = rdd2.collect
val mapBroadcast = sc.broadcast(map)
rdd1.map(mapBroadcast)
5、使用高性能的算子
map mapPartition foreach foreachPartition reduceByKey
6、尽量map端预聚合的算子
reduceByKey aggregateByKey
7、尽量使用多的广播大变量
val listbroadcast= sc.broadcast(list)
rdd1.map(listbroadcast)
8、使用kyro序列化器
9、优化数据结构