Hadoop 求最大值最小值 BiggestSmallest

最新推荐文章于 2022-11-16 14:14:06 发布

段智华

最新推荐文章于 2022-11-16 14:14:06 发布

阅读量2.1k

点赞数 1

分类专栏：大数据IMF传奇行动－Spark Hadoop

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/50658477

版权

大数据IMF传奇行动－Spark Hadoop 专栏收录该内容

109 篇文章 200 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客展示了如何使用Hadoop MapReduce求解数据集的最大值和最小值。作者提供了一个名为`BiggestSmallest`的示例程序，包括`Mapper`和`Reducer`类，用于读取数据文件，计算最大值和最小值。在运行示例时，通过HDFS将数据文件上传到集群，并执行MapReduce作业。然而，运行结果显示最大值和最小值在同一行被重复打印，可能是因为输出格式设置问题。

摘要由CSDN通过智能技术生成

Hadoop 求最大值最小值

1、源代码

package com.dtspark.hadoop.hellomapreduce;
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.ut