WordCount大集锦
wordcount
韩家小志
这个作者很懒,什么都没留下…
展开
-
Scala/Spark--实现WordCount
v1package cn.hanjiaxiaozhi.exerciseimport scala.collection.mutable/** * Author hanjiaxiaozhi * Date 2020/7/16 9:27 * Desc 演示使用Scala函数式编程API完成WordCount-v1-入门程序员版 */object WordCount_1 { def main(args: Array[String]): Unit = { //1.准备数据 val原创 2020-12-07 23:08:08 · 598 阅读 · 0 评论 -
Hive--实现WordCount
selecttmp.word,count(1) as counts from (select explode(split(line, '\\s+')) word from t_wc) tmpgroup by tmp.word;原创 2020-12-07 02:31:37 · 235 阅读 · 0 评论 -
MapReduce--实现WordCount
MapReduce实现WordCount1、需求基于MapReduce开发实现对文件中的单词进行统计,统计每个单词出现的次数将程序写好以后,打成jar包,上传到Linux中,提交给YARN运行2、分析Input:/wordcount/input/wordcount.txt将每一行数据变成一个keyvaluevalue就是这一行的内容Map:将value进行分割,得到每个单词,将单词作为key,1作为value输出Shuffle:分组:按照单词做分组,相同单词的value原创 2020-12-04 17:28:12 · 477 阅读 · 0 评论