简单SparkRDD单词计数操作

最新推荐文章于 2024-05-28 09:19:48 发布

白马长枪儒雅将

最新推荐文章于 2024-05-28 09:19:48 发布

阅读量7.7k

点赞数 3

分类专栏：初级篇--spark Hadoop/Spark 文章标签： sparkwc rdd

本文链接：https://blog.csdn.net/u012429555/article/details/51412950

版权

Hadoop/Spark 同时被 2 个专栏收录

18 篇文章 0 订阅

订阅专栏

初级篇--spark

7 篇文章 0 订阅

订阅专栏

1 工具IDEA

2 添加jar依赖

3 spark的local模式

在自己电脑下创建文件：

E://sparktext//text.txt

然后写入：

</pre><pre name="code" class="java">hadoop
hbase
hadoop
hello
world
hive
hive
hello
spark
spark
mapreduce

1 代码

import   org.apache.spark.{SparkConf,SparkContext}
object text {
    def main(args:Array[String]){
      //创建环境变量
      val conf=new SparkConf().setMaster("local").setAppName("text")
      //创建环境变量实例
      val sc=new SparkContext(conf)
      //读取文件 并行化HDFS文件，注意文件的里面的单词以换行
      val data=sc.textFile("E://sparktext//text.txt")
      /**
        * flatMap是将文件按照“\t”分片
        * map 和 reduceByKey使得每一个相同的字母相加
        *collection 是actionc操作使得job运行
        * foreach 按行打印
       */
      data.flatMap(_.split("\t").map((_,1))).reduceByKey(_+_).collect().foreach(println)
    }

}

运行结果：