Spark1.0.0 多语言编程之Scala实现

  Scala作为Spark的原生语言，在开发上Spark应用程序上最大的优势是支持所有的功能、容易追踪bug等。试过几种开发工具，笔者还是觉得IntelliJ IDEA开发Scala程序比较方便，当然开发Spark 应用程序也一样。

       Spark开发环境参见 Spark1.0.0 开发环境快速搭建 ，本篇是对 Spark1.0.0 多语言编程 的需求进行scala实现。
      至于在IntelliJ IDEA内如何创建scala项目，详见 使用IntelliJ IDEA开发Spark1.0.0应用程序 。在本篇中建立一个名为week6的项目，并含有一个week6的包，这里贴上class的代码。

1：sogou日志数据分析scala实现
A：用户在00:00:00到12:00:00之间的查询数

1. package week6  
   
2.   
   
3. import org.apache.spark.{SparkContext, SparkConf}  
   
4.   
   
5. object SogouA {  
   
6.   def main(args: Array[String]) {  
   
7.     if (args.length == 0) {  
   
8.       System.err.println("Usage: SogouA <file1>")  
   
9.       System.exit(1)  
   
10.     }  
    
11.   
    
12.     val conf = new SparkConf().setAppName("SogouA")  
    
13.     val sc = new SparkContext(conf)  
    
14.     val sgRDD=sc.textFile(args(0))  
    
15.     println(sgRDD.map(_.split('\t')(0)).filter(x => x >= "00:00:00" && x <= "12:00:00").count)  
    
16.     sc.stop()  
    
17.   }  
    
18. }  

复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouA week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
结果：527300

B：搜索结果排名第1，但是点击次序排在第2的数据有多少?

1. package week6  
   
2.   
   
3. import org.apache.spark.{SparkContext, SparkConf}  
   
4.   
   
5. object SogouB {  
   
6.   def main(args: Array[String]) {  
   
7.     if (args.length == 0) {  
   
8.       System.err.println("Usage: SogouB <file1>")  
   
9.       System.exit(1)  
   
10.     }  
    
11.   
    
12.     val conf = new SparkConf().setAppName("SogouB")  
    
13.     val sc = new SparkContext(conf)  
    
14.     val sgRDD=sc.textFile(args(0))  
    
15.     println(sgRDD.map(_.split('\t')).filter(_.length ==5).map(_(3).split(' ')).filter(_(0).toInt ==1).filter(_(1).toInt ==2).count)  
    
16.     sc.stop()  
    
17.   }  
    
18. }  

复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouB week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
结果：79765

C：一个session内查询次数最多的用户的session与相应的查询次数

1. package week6  
   
2.   
   
3. import org.apache.spark.{SparkContext, SparkConf}  
   
4. import org.apache.spark.SparkContext._  
   
5.   
   
6. object SogouC {  
   
7.   def main(args: Array[String]) {  
   
8.     if (args.length == 0) {  
   
9.       System.err.println("Usage: SogouC <file1>")  
   
10.       System.exit(1)  
    
11.     }  
    
12.   
    
13.     val conf = new SparkConf().setAppName("SogouC")  
    
14.     val sc = new SparkContext(conf)  
    
15.     val sgRDD=sc.textFile(args(0))  
    
16.     sgRDD.map(_.split('\t')).filter(_.length ==5).map(x=>(x(1),1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10).foreach(println)  
    
17.     sc.stop()  
    
18.   }  
    
19. }  

复制代码

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouC week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt

结果：
(11579135515147154,431)
(6383499980790535,385)
(7822241147182134,370)
(900755558064074,335)
(12385969593715146,226)
(519493440787543,223)
(787615177142486,214)
(502949445189088,210)
(2501320721983056,208)
(9165829432475153,201)