![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
茄子的测试学习笔记
一步一步往上爬~
展开
-
第七章 mapreduce编程实践-文件合并与去重
编程实现文件合并和去重操作对于两个输入文件,即文件A和文件B,请编写MapReduce程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。目标:原始数据中出现次数超过一次的数据在输出文件中只出现一次。算法思想:根据reduce的过程特性,会自动根据key来计算输入的value集合,把数据作为key输出给reduce,无论这个...原创 2019-01-10 15:57:08 · 22872 阅读 · 1 评论 -
第七章mapreduce实践1- wordcount 字符计数
package org.apache.hadoop.examples; import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs....原创 2019-01-10 11:31:15 · 352 阅读 · 0 评论