spark学习(4)--自定义分区

spark自定义分区
通过自定义的分区规则对rdd进行重新分区，并在保存的时候也可以分区保存

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.Partitioner
import scala.collection.mutable.HashMap
object CustomPatition {
  def main(args: Array[String]): Unit = {
    //创建sparkContext
    val conf=new SparkConf().setAppName("CustomPatition").setMaster("local");
    val sc=new SparkContext(conf);
    //[30/Jul/2017:12:54:56 +0800] "GET /MyDemoWeb/java.jsp HTTP/1.1" 200 240 192.168.88.1 - - 
    val rdd1=sc.textFile("G:/msdownld.tmp/localhost_access_log.2017-07-30.txt")
    .map(
      (log)=>{
        val  line1=log.substring(log.indexOf("\"")+1, log.lastIndexOf("\""))
        val line2=line1.substring(line1.indexOf(" ")+1, line1.lastIndexOf(" "))
        val pageName=line2.substring(line2.lastIndexOf("/")+1);
        (pageName,log)
      }
    )
    //得到不重复的网页
    val rdd2=rdd1.map(_._1).distinct().collect();
    //创建分区
    val mypartitioner=new MyPartitioner(rdd2);
    //按分区规则重建分区
    val rdd3=rdd1.partitionBy(mypartitioner);
    println("重新分区后数："+rdd3.partitions.length)
    //按分区输出计算后的结果
    rdd3.saveAsTextFile("G:/msdownld.tmp/output/partition")
    sc.stop()
  }
}
//自定义分区
class MyPartitioner(alljspName:Array[String]) extends Partitioner{
   //自定义的规则直接写在类里，当创建这个类对象的时候写在类里边的代码直接执行了
  var partitions=new HashMap[String,Int]()
  var partId:Int=0;
  for(name<-alljspName){
    partitions.put(name, partId)
    partId +=1
  }
  
  //获取分区号
   override def getPartition(key: Any): Int = {
     partitions.getOrElse(key.toString(), 0)
   }
   //获取总的分区数
   override def numPartitions: Int =partitions.size

}

注意的是运行这个代码会报一个错

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

这个报错在之前的练习当中是没有问题的，一般是会在windows的开发环境下有这个问题，放到正式的环境下就没有这个问题了，这个是因为我们在环境变量中已经配置了hadoop的环境变量。但是在自定义分区中必须把这个报错解决掉，不然不能正常运行
因为我们是在本地运行的，所以我们需要找到winutils.exe的这个文件，这个文件是在hadoop的包中的，

我们只需在程序的开头加入这行代码让他找到这个文件就可以了

System.setProperty("hadoop.home.dir", "G:/msdownld.tmp/hadoop-2.4.1/hadoop-2.4.1/hadoop-2.4.1")