spark 算子使用类变量_SparkShell简单使用

工作中基本是通过spark-submit提交Java包中的Spark程序，这时一般是需要构建好整个工程：自定义配置文件的读取、Spark Context中的参数配置文件读取、初始化Spark Context、广播变量获取、确保Spark Java代码可维护性、log的输出存留、代码简洁性是否符合sonar异味检测等。需要构建这种工程的Spark任务应该是比较复杂的，但有时仅仅需要读取一个hdfs目录，筛选出其中的特定记录、或者对数据进行某种排序，这时可以通过Spark-Shell来免除程序编译、上传jar包等麻烦，通过交互式的方式来提交Spark任务。

首先通过命令行spark-shell就能获取到一个SparkContext，默认名称为sc，而SparkSession默认名称为spark。我们在启动spark-shell时还能指定其使用的资源大小：

spark-shell --num-executors 3 --executor-memory 1g --executor-cores 1

启动后就可以使用sc搞事情了，通过textFile算子读取hdfs上的目录，然后使用各类算子进行计算，其实和Java Spark API相差不大，只是有些Java API在Scala语法中并没有，例如mapToPair算子在Scala API中使用map来实现。下面是个简单的例子：sc读取textFile后映射成PairRDD，过滤空值后进行groupByKey操作汇聚数据，再将key-value反转后进行sortByKey排序，获取排序后的前10条数据：

sc.textFile("/ckh/data/user.txt").map(line=>(line.split(",",-1)(6),1)).filter(tuple=>tuple._1!=" ").reduceByKey((a,b)=>a+b).map(tuple=>(tuple._2,tuple._1)).sortByKey(false).take(10)

或者直接将这次临时查询的数据保存下来供使用：

sc.textFile("/ckh/data/user.txt").map(line=>(line.split(",",-1)(6),1)).filter(tuple=>tuple._1!=" ").reduceByKey((a,b)=>a+b).map(tuple=>(tuple._2,tuple._1)).sortByKey(false).saveAsTextFile("/ckh/data/sortresult")