Spark word count 实例

原创 2016年08月29日 13:02:24

利用中午休息时间配置了个环境,写个Word count 本地模式测试下 环境 , 环境Okay

Scala 2.10.4
Java  1.7.08
Spark 1.6.0


package com.ib.e3

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by xxxooo on 8/29/2016.
  */
object WordCount {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("Myapp").setMaster("local")

    val sc = new SparkContext(conf)

    val linesRDD = sc.textFile("C:\\workplacebus\\business\\xxxooo\\xxxooo\\workspace\\spark\\lib\\wordcount.txt")

    val wordRDD = linesRDD.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a+b)

    wordRDD.foreach(word => println(word))
  }

}



每一个坚持大汗淋漓的人都不会太简单













版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

逻辑回归(推荐系统)

import java.io.PrintWriter import org.apache.log4j.{Level, Logger} import org.apache.spark.mllib.li...

First Steps to Scala

Scala is a statically typed, object-oriented programming language that blends imperative and functio...

spark中的Broadcast variables和Accumulator (广播变量和累加器)

同事都被老板叫去开会了 ....... 已经开了两个小时了 GOD 广播变量 broadcast 这个变量只能在drive 端修改,不能在executor 端修改 不产生shuffle...

Spark 运行模式 standalong & yarn

standalong 模式需要在spark master 节点上启动 spark/sbin/start-all.sh 主从节点都可以run standalong client ./bin/spa...

WinCE中触摸屏驱动开发详解

1.触摸屏驱动程序的模型 1.1 分层触摸屏驱动层序结构 本触摸屏驱动采用分层驱动程序结构,其驱动模型如下图所示,这种结构将驱动程序代码区分为上层模型设备驱动层(MDD),下层是依赖平台的驱动层(...

Spark sql 简单示例

都这个点了,很多同事还没有到公司,得那我就简单写个spark sql 的示例 回顾而知新,孔老子明智 package com.ib.e3 import org.apache.spark.sq...

排序

希尔排序

汉字hash问题(转)

由于常常要和汉字处理打交道,因此,我常常受到汉字编码问题的困扰。在不断的打击与坚持中,也积累了一点汉字编码方面的经验,想和大家一起分享。 一、汉字编码的种类     汉字编码中现在主要用到的有三...

Scala 初级入门课程一

package cn.dowhatyouwant.codes /** * Created by DengNi on 2016/8/31. * Scala 是动态语言,静态类型,因为难,所以用...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)