mapreduce编程实例(4)-求中位数和标准差

最新推荐文章于 2021-02-13 15:14:12 发布

pan12jian

最新推荐文章于 2021-02-13 15:14:12 发布

阅读量4.2k

点赞数

分类专栏： hadoop 文章标签： java hadoop 实例中位数 mapreduce

本文链接：https://blog.csdn.net/pan12jian/article/details/26391163

版权

该博客通过Java实现了一个Hadoop MapReduce程序，用于计算指定时间段内每小时网站新增评论长度的中位数和标准差。文章详细展示了如何运用MapReduce框架解决此类问题。

摘要由CSDN通过智能技术生成

这个实例解决问题是：计算一天的每个小时中，网站新增评论长度的中位数和这些长度之间的标准差。代码如下：

package mrdp.ch2;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Date;
import java.util.Map;

import mrdp.utils.MRDPUtils;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class MedianStdDevDriver {

	public static class SOMedianStdDevMapper e