spark1.6从hdfs上读取文件运行wordcount

735人阅读 评论(0) 收藏 举报
分类:

从hdfs上读取文件并运行wordcount

[root@hadoop14 app]# hadoop fs -put word.txt /yuhui



scala> val file=sc.textFile("hdfs://hadoop14:9000/yuhui/word.txt")


scala> val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

scala> count.collect()

结果:

res1: Array[(String, Int)] = Array((cccc,2), (aaaa,2), (bbb,2), (ddd,1))


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    【个人简介】
    个人资料
    • 访问:397714次
    • 积分:6810
    • 等级:
    • 排名:第3791名
    • 原创:283篇
    • 转载:23篇
    • 译文:24篇
    • 评论:86条
    博客专栏