![](https://img-blog.csdnimg.cn/20201213025526793.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
WordCount大集锦
wordcount
韩家小志
这个作者很懒,什么都没留下…
展开
-
Scala/Spark--实现WordCount
v1 package cn.hanjiaxiaozhi.exercise import scala.collection.mutable /** * Author hanjiaxiaozhi * Date 2020/7/16 9:27 * Desc 演示使用Scala函数式编程API完成WordCount-v1-入门程序员版 */ object WordCount_1 { def main(args: Array[String]): Unit = { //1.准备数据 val原创 2020-12-07 23:08:08 · 578 阅读 · 0 评论 -
Hive--实现WordCount
select tmp.word ,count(1) as counts from (select explode(split(line, '\\s+')) word from t_wc) tmp group by tmp.word;原创 2020-12-07 02:31:37 · 223 阅读 · 0 评论 -
MapReduce--实现WordCount
MapReduce实现WordCount 1、需求 基于MapReduce开发实现对文件中的单词进行统计,统计每个单词出现的次数 将程序写好以后,打成jar包,上传到Linux中,提交给YARN运行 2、分析 Input: /wordcount/input/wordcount.txt 将每一行数据变成一个keyvalue value就是这一行的内容 Map: 将value进行分割,得到每个单词,将单词作为key,1作为value输出 Shuffle: 分组:按照单词做分组,相同单词的value原创 2020-12-04 17:28:12 · 455 阅读 · 0 评论