Hadoop 分区案例（根据不同的值分到不同文件）

最新推荐文章于 2022-02-08 23:07:09 发布

初入小萌新

最新推荐文章于 2022-02-08 23:07:09 发布

阅读量692

点赞数

分类专栏： hadoop学习

本文链接：https://blog.csdn.net/qq_37321741/article/details/81216847

版权

本文详细介绍了如何在Hadoop中实现一个自定义分区类，根据记录的不同值将数据分发到不同的文件中，从而优化数据处理效率。通过示例代码展示了具体实现过程。

摘要由CSDN通过智能技术生成

主程序代码

package com.mapreduce;

import java.io.IOException;

import javax.imageio.stream.FileImageInputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import com.mapreduce.ModelDemo.MyMapper;
import com.mapreduce.ModelDemo.MyReduce;

public class PartitonerDemo implements Tool {

	public static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {