![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
weixin_38737789
这个作者很懒,什么都没留下…
展开
-
MapReduce 类的封装思想
要有把需要的信息当成类的思想package ProvinceMR;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class BeanFlow implements Writabl原创 2017-07-16 23:25:47 · 477 阅读 · 0 评论 -
MapReduce 只有Map阶段,写出到pc端
package ProOrder2;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileReader;import java.io.IOException;import java.io.InputStreamReader;import java.util.HashMap;import原创 2017-07-16 23:29:36 · 1548 阅读 · 0 评论 -
多个MR一起执行的Driver代码
package com.it18zhang.day05.flow5;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.JobConf;import org.apache.原创 2017-07-16 23:32:22 · 438 阅读 · 0 评论 -
MapReduce中Combiner方法使用
Combiner 会继承Reducer,它是一种mr的优化,用于减少服务器之间网络带宽的压力,它是在map结束后在每台服务器中都算出一个值,再传到shuffle中。适合于求和等每台服务器算出的值对最后结果没有影响的业务中,但是像求平均值等功能会带来误差所以不能使用。Combiner会在map结束后,shuffle开始前进行执行,package com.it18zhang.day05.flow;imp原创 2017-07-16 23:42:31 · 573 阅读 · 0 评论 -
MapReduce阶段map的setup() 和cleanup()
setup() 此方法被MapReduce框架仅且执行一次,在执行Map任务前,进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中,导致Mapper任务在解析每一行输入时都会进行资源初始化工作,导致重复,程序运行效率不高! cleanup() 此方法被MapReduce框架仅且执行一次,在执行完毕Map任务后,进行相关变量或资源的释放工作。若是将释放资源工作放原创 2017-07-17 09:42:03 · 721 阅读 · 0 评论 -
用eclipse在HADOOP中的一些系统指令操作
import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;impo原创 2017-07-09 12:46:27 · 208 阅读 · 0 评论