spark:--spark-shell运行简单语句、用Idea编写例子--8

spark集群启动：MASTER=spark://host:port ./spark-shell
**********************************
在终端：hadoop fs -tail /lab/SogouQ.full
***********************************
scala> val data = sc.textFile("hdfs://server1:9000/lab/SogouQ.full")
***********************
scala> data.count//统计数据多少行 在web端查看
*************************
scala> data.cache//速度飙升
***********************
scala> data.count
****************************
scala> data.map(_.split('\t')(0)).filter(_ < "20140202020202").count
***************************
scala> data.map(_.split('\t')(3)).filter(_.toInt == 1).count//计算收索排名第一的
****************************
scala> data.map(_.split('\t')).filter(_(3).toInt == 1).filter(_(4).toInt == 1).count//在这些收索排名第一的文件中有多少是第一次就被收索到的
**************************
scala> data.map(_.split('\t')).filter(_(2).contains("baidu")).count//查看用搜狗浏览器收索百度的
**************************
例：
1.在终端上hadoop fs -ls /lab/NY//显示纽约时报数据文件存放路径
2.hadoop fs -tail /lab/NY/docword.nytimes.txt//文章里单词的出现频率
3.用intellij idea编译算法（要求），打包发到集群
4.在终端:java -jar ./xxxxxx.jar(包含main函数的包) ./XXXXXX.jar(要传输的函数包) hdfs://$$$$$(hadoop:从哪边取数据) hdfs://*****（将数据存放的路径）
************************

初学者现在spark-shell上编写 不必须在intellij上编写

package cn.spark

import org.apache.spark.{SparkContext, SparkConf}
import scala.collection.mutable.ListBuffer
import org.apache.spark.SparkContext._

/**
 * Created by sendoh on 2015/2/6.
 */
class Analysis {

}
object Analysis{
  def main(args : Array[String]): Unit = {
    if (args.length != 3) {
      println("Usage : java -jar code.jar dependency_jars file_location save_location")
      System.exit(0)
    }

    val jars = ListBuffer[String]()
    args(0).split(',').map(jars += _)

    val conf = new SparkConf()
    conf.setMaster("spark://server1:8888")
      .setSparkHome("/data/software/spark-1.2.0-incubating-bin-hadoop1")
      .setAppName("analysis")
      .setJars(jars)
      .set("spark.executor.memory", "25g")

    val sc = new SparkContext(conf)
    val data = sc.textFile(args(1))

    data.cache
    println(data.count)

    data.filter(_.split(' ').length == 3).map(_.split(' ')(1)).map((_ .1) ).reduceByKey(_ + _)
      .map(x => (x._2, x._1)).sortByKey(false).map(x => (x._2, x._1)).saveAsTextFile(args(2))
  }
}