北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

spark1.6从hdfs上读取文件运行wordcount

从hdfs上读取文件并运行wordcount

[root@hadoop14 app]# hadoop fs -put word.txt /yuhui



scala> val file=sc.textFile("hdfs://hadoop14:9000/yuhui/word.txt")


scala> val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

scala> count.collect()

结果:

res1: Array[(String, Int)] = Array((cccc,2), (aaaa,2), (bbb,2), (ddd,1))


阅读更多
版权声明:本文为博主原创文章,出处为 http://blog.csdn.net/silentwolfyh https://blog.csdn.net/silentwolfyh/article/details/51560170
个人分类: 【大数据】Spark
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

spark1.6从hdfs上读取文件运行wordcount

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭