一、前言
没有阅读spark分组排序二的同学需要先阅读下才能理解本篇文章的优化逻辑。上demo源码
二、源码
import org.apache.spark.{
Partitioner, SparkConf, SparkContext}
object Demo2 {
def main(args: Array[String]): Unit = {
val sc = new SparkContext(new SparkConf().setMaster("local[*]").setAppName("demo2"))
val rdd1 = sc.textFile("ttxs-spark/data/teacher")