关闭

spark1.6从hdfs上读取文件运行wordcount

806人阅读 评论(0) 收藏 举报
分类:

从hdfs上读取文件并运行wordcount

[root@hadoop14 app]# hadoop fs -put word.txt /yuhui



scala> val file=sc.textFile("hdfs://hadoop14:9000/yuhui/word.txt")


scala> val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

scala> count.collect()

结果:

res1: Array[(String, Int)] = Array((cccc,2), (aaaa,2), (bbb,2), (ddd,1))


0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

spark从hdfs上读取文件运行wordcount

1.配置环境说明 hadoop配置节点:sg202(namenode SecondaryNameNode)  sg206(datanode) sg207(datanode) sg208(datanod...
  • chenxingzhen001
  • chenxingzhen001
  • 2013-09-11 14:31
  • 54587

spark读hdfs文件实现wordcount并将结果存回hdfs

package iie.udps.example.operator.spark; import scala.Tuple2; import org.apache.spark.SparkConf; i...
  • DF_XIAO
  • DF_XIAO
  • 2015-02-09 11:45
  • 2598

hadoop 自带示例wordcount 详细运行步骤

因为机器学习,接触到了数据挖掘;因为数据挖掘,接触到了大数据;因为大数据,接触到了Hadoop。之前有过hadoop的简单了解,但都是基于别人提供的hadoop来学习和使用,虽然也很好用 ,终究不如自...
  • u010414589
  • u010414589
  • 2016-04-26 21:20
  • 4894

Hadoop学习之HDFS文件读取

文件内容读取的代码可以分为三个大步骤。 1、获取文件系统 2、通过文件系统打开文件 3、将文件内容输出
  • strongyoung88
  • strongyoung88
  • 2015-05-09 16:24
  • 5366

Spark读取HDFS文件,文件格式为GB2312,实现WordCount示例

import scala.Tuple2; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.LongW...
  • DF_XIAO
  • DF_XIAO
  • 2015-02-09 11:52
  • 1578

hadoop入门java代码hdfs文件操作 wordCount源码

  • 2016-01-27 12:16
  • 39KB
  • 下载

Spark1.4从HDFS读取文件运行Java语言WordCounts并将结果保存至HDFS

习惯印象笔记客户端记录的方便。想想这几天搭建Spark环境,分析spark运行过程,分析程序编写过程的迷茫,记录一篇从Hadoop2.4.0 HDFS系统中读取文件,并使用java语言编译运行的Wor...
  • dabokele
  • dabokele
  • 2015-07-16 15:34
  • 4277

spark local下 WordCount运行示例

  • 2016-08-14 12:17
  • 10KB
  • 下载

hadoop scala spark 例子项目,运行了单机wordcount

  • 2017-07-28 17:00
  • 19KB
  • 下载

spark on hdfs spark处理hdfs上的文件简单的wordcount

进入spark/bin 目录 输入spark-shell  进入spark shell模式
  • sunflower_cao
  • sunflower_cao
  • 2014-05-21 14:12
  • 2172
    【个人简介】
    个人资料
    • 访问:476968次
    • 积分:7463
    • 等级:
    • 排名:第3402名
    • 原创:282篇
    • 转载:23篇
    • 译文:24篇
    • 评论:92条
    博客专栏