Spark1.0.0 多语言编程之Scala实现

      Scala作为Spark的原生语言，在开发上Spark应用程序上最大的优势是支持所有的功能、容易追踪bug等。试过几种开发工具，笔者还是觉得IntelliJ IDEA开发Scala程序比较方便，当然开发Spark 应用程序也一样。

      笔者的Spark开发环境参见 Spark1.0.0 开发环境快速搭建 ，本篇是对 Spark1.0.0 多语言编程的需求进行scala实现。

      至于在IntelliJ IDEA内如何创建scala项目，详见 使用IntelliJ IDEA开发Spark1.0.0应用程序。在本篇中建立一个名为week6的项目，并含有一个week6的包，这里贴上class的代码。

1：sogou日志数据分析scala实现

A：用户在00:00:00到12:00:00之间的查询数

package week6

import org.apache.spark.{SparkContext, SparkConf}

object SogouA {
  def main(args: Array[String]) {
    if (args.length == 0) {
      System.err.println("Usage: SogouA <file1>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("SogouA")
    val sc = new SparkContext(conf)
    val sgRDD=sc.textFile(args(0))
    println(sgRDD.map(_.split('\t')(0)).filter(x => x >= "00:00:00" && x <= "12:00:00").count)
    sc.stop()
  }
}

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouA week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt

结果：527300

B：搜索结果排名第1，但是点击次序排在第2的数据有多少?

package week6

import org.apache.spark.{SparkContext, SparkConf}

object SogouB {
  def main(args: Array[String]) {
    if (args.length == 0) {
      System.err.println("Usage: SogouB <file1>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("SogouB")
    val sc = new SparkContext(conf)
    val sgRDD=sc.textFile(args(0))
    println(sgRDD.map(_.split('\t')).filter(_.length ==5).map(_(3).split(' ')).filter(_(0).toInt ==1).filter(_(1).toInt ==2).count)
    sc.stop()
  }
}

客户端运行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouB week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt

结果：79765

C：一个session内查询次数最多的用户的session与相应的查询次数

package week6

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.SparkContext._

object SogouC {
  def main(args: Array[String]) {
    if (args.length == 0) {
      System.err.println("Usage: SogouC <file1>")
      System.exit(1)
    }

    val conf = new SparkConf().setAppName("SogouC")
    val sc = new SparkContext(conf)
    val sgRDD=sc.textFile(args(0))
    sgRDD.map(_.split('\t')).filter(_.length ==5).map(x=>(x(1),1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10).foreach(println)
    sc.stop()
  }
}

客户端运行命令： bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouC week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt

结果：

(11579135515147154,431)

(6383499980790535,385)

(7822241147182134,370)

(900755558064074,335)

(12385969593715146,226)

(519493440787543,223)

(787615177142486,214)

(502949445189088,210)

(2501320721983056,208)

(9165829432475153,201)

TIPS：

关于在YARN中的运行参见 Spark1.0.0 on YARN 模式部署 。