Spark word count 实例

利用中午休息时间配置了个环境,写个Word count 本地模式测试下 环境 , 环境Okay

Scala 2.10.4
Java  1.7.08
Spark 1.6.0


package com.ib.e3

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by xxxooo on 8/29/2016.
  */
object WordCount {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("Myapp").setMaster("local")

    val sc = new SparkContext(conf)

    val linesRDD = sc.textFile("C:\\workplacebus\\business\\xxxooo\\xxxooo\\workspace\\spark\\lib\\wordcount.txt")

    val wordRDD = linesRDD.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a+b)

    wordRDD.foreach(word => println(word))
  }

}



每一个坚持大汗淋漓的人都不会太简单













阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haohaixingyun/article/details/52352105
个人分类: Spark
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Spark word count 实例

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭