Spark word count 实例

原创 2016年08月29日 13:02:24

利用中午休息时间配置了个环境,写个Word count 本地模式测试下 环境 , 环境Okay

Scala 2.10.4
Java  1.7.08
Spark 1.6.0


package com.ib.e3

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by xxxooo on 8/29/2016.
  */
object WordCount {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("Myapp").setMaster("local")

    val sc = new SparkContext(conf)

    val linesRDD = sc.textFile("C:\\workplacebus\\business\\xxxooo\\xxxooo\\workspace\\spark\\lib\\wordcount.txt")

    val wordRDD = linesRDD.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a+b)

    wordRDD.foreach(word => println(word))
  }

}



每一个坚持大汗淋漓的人都不会太简单













版权声明:本文为博主原创文章,未经博主允许不得转载。

Spark第一个程序开发 wordcount

这里介绍了程序运行在本地模式和Standalone模式两种方式package com.spark.appimport org.apache.spark.{SparkContext, SparkConf...
  • u010110208
  • u010110208
  • 2016年07月24日 12:17
  • 7173

Spark平台上的JavaWordCount示例

Spark平台上的JavaWordCount示例
  • houmou
  • houmou
  • 2016年01月17日 21:33
  • 4708

Idea中编写并运行Spark集群(WordCount)

在Idea中编写Spark的集群代码WordCount,其中包括如何打包、如何运行、配置等
  • u012587561
  • u012587561
  • 2016年08月10日 00:16
  • 3456

Spark-Word Count实例

运行环境:Spark1.4集群 语言:Scala一、简单实例演示1、文本内容:2、操作Step1. 读取hdfs 上文件:val wcrdd1=sc.textFile("hdfs://master:...
  • sinat_22568735
  • sinat_22568735
  • 2017年05月03日 01:19
  • 133

spark 框架word count scala源文件

  • 2018年01月11日 18:23
  • 578B
  • 下载

Spark---Word Count

Point 1:Java版本package com.Spark.wordcount; //use spark-assembly-1.6.0-hadoop2.4.0.jar import java.ut...
  • ymf827311945
  • ymf827311945
  • 2017年06月30日 18:28
  • 233

mapper-reducer word count 实例

统计一个文件里各单词的个数,假设这个文件很大。 原理如下图: 编写代码: WCMapper.java package zengmg.hadoop.mr.wordcount; impo...
  • zengmingen
  • zengmingen
  • 2016年04月14日 15:45
  • 851

win7 x64下eclipse远程到hadoop2.6.0集群服务器+word count 实例演示

由于实验室在做Spark的研究,所以需要搭建相关的平台进行实验。由于每次提交测试代码都需要先打包后上传到linux虚拟机中,再ssh到服务器上去跑比较麻烦。所以就有如下的分享。 假设你已经搭建好完全...
  • youxia918
  • youxia918
  • 2015年06月27日 12:35
  • 1530

IDEA + Hadoop工程入门实例 ——Word Count编程

一、       启动IDEA 进入/home/iespark/hadoop_program_files/idea-IC-143.1184.17/bin,执行“./idea.sh”。 二、    ...
  • lishuan182
  • lishuan182
  • 2016年04月26日 09:16
  • 3716

LaTeX word count

  • 2015年07月03日 19:10
  • 627KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark word count 实例
举报原因:
原因补充:

(最多只允许输入30个字)