Hadoop 自定义组件

最新推荐文章于 2024-09-11 14:42:31 发布
最新推荐文章于 2024-09-11 14:42:31 发布
阅读量121 收藏
点赞数
文章标签： 大数据 java 数据库
原文链接：https://my.oschina.net/manmao/blog/1935470
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

在一些特殊情况下，我们会自定义一些MapReduce中的组件来满足自己的需求，比如自定义的Partition就是很好的例子。

1.1  自定义InputFormat

在Hadoop系统中自带了一些常用的InputFormat,我们可直接使用，如下：

  1. FileInputFormat<K,V>这个是基本的文件输入父类。
  2. TextInputFormat<LongWritable,Text>这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的偏移量，value为当前行字符串。
  3. SequenceFileInputFormat<K,V>这个是序列文件输入格式，使用序列文件可以提高效率，但是不利于查看结果，建议在过程中使用序列文件，最后展示可以使用可视化输出。
  4. KeyValueTextInputFormat<Text,Text>这个是读取以Tab（也即是\t）分隔的数据，每行数据如果以\t分隔，那么使用这个读入，就可以自动把\t前面的当做key，后面的当做value。
  5. CombineFileInputFormat<K,V>合并大量小数据是使用,比如mapreduce已经实现了一个org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat
  6. MultipleInputs 多种输入，可以为每个输入指定逻辑处理的Mapper。

在这儿，作者就不一一介绍了，有兴趣可以自己去尝试每个类型。下面我会介绍如何通过FileInputFormat来实现自定义的InputFormat。

实现FileInputFormat类，必须要实现createRecordReader方法。代码如下：

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import java.io.IOException;

public class CustomInputFormat extends FileInputFormat<Text, Text> {
    @Override
    public RecordReader<Text,Text> createRecordReader(InputSplit inputSplit,  TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {
       // 自定义代码
        return new CustomReader();
    }
}

实现createRecordReader的关键就是返回一个自定义的RecordReader，如何实现自定义的RecordReader，请看下面的代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.util.LineReader;
import java.io.IOException;

public  class CustomReader extends RecordReader<Text ,Text> {

    private LineReader lr ;

    private Text key = new Text();

    private Text value = new Text();

    private long start ;

    private long end;

    private long currentPos;

    private Text line = new Text();

    @Override

    public void initialize(InputSplit inputSplit, TaskAttemptContext taskAttemptContext)
            throws IOException {

        //输入分片的文件对象
        FileSplit split =(FileSplit) inputSplit;
        Configuration conf = taskAttemptContext.getConfiguration();
        Path path = split.getPath();
        FileSystem fs = path.getFileSystem(conf);
        FSDataInputStream is = fs.open(path);
        lr = new LineReader(is,conf);

        //分片，起始位置
        start =split.getStart();

        //分片，终点位置
        end = start + split.getLength();
        is.seek(start);
        if(start != 0){
            //如果不是开始的分片，默认跳过第一行
            start += lr.readLine(new Text(),0,
                    (int)Math.min(Integer.MAX_VALUE, end-start));
        }
        currentPos = start;
    }

    @Override
    public boolean nextKeyValue() throws IOException, InterruptedException {

        //currentPos=end,会继续读取下一行，currentPos > end则返回false

        if(currentPos > end){
            return false;
        }

        // 读取一行数据
        currentPos += lr.readLine(line);
        if(line.getLength()==0){
            return false;
        }

        if(line.toString().startsWith("ignore")){
            currentPos += lr.readLine(line);
        }

        // 转化为word数组
        String [] words = line.toString().split(",");

        // 异常处理
        if(words.length < 2){
            System.err.println("line:"+line.toString()+".");
            return false;
        }

        key.set(words[0]);
        value.set(words[1]);
        return true;
    }

    @Override
    public Text getCurrentKey() throws IOException, InterruptedException {
        return key;
    }

    @Override
    public Text getCurrentValue() throws IOException, InterruptedException {
        return value;
    }

    @Override
    public float getProgress() throws IOException, InterruptedException {
        if (start == end) {
            return 0.0f;
        } else {
            return Math.min(1.0f, (currentPos - start) / (float) (end - start));
        }
    }

    @Override
    public void close() throws IOException {
        lr.close();
    }
}

上面的代码就是实现一个自定义的RecordReader，核心的方法initialize，nextKeyValue。initialize用于实现一些初始化操作，nextKeyValue主要实现读取下一行记录的，转化成<key,value>形式。

这个自定义的CustomInputFormat 实现的功能就是：如果一行记录开始“ignore”则跳过这行。定义完成后就可以像其他系统自带的InputFormat一样正常使用。

1.2  Partitioner和Combiner

除了自定义InputFormat外，常见的自定义的组件还有partitioner和combiner，其中partitioner我们已经在4.1章节中使用过了，它的作用是自定义数据记录的分区的方式，而不用系统自带的分区方式。Hadoop自带的分区实现是HashPartitioner，其实现如下：

/** Partition keys by their {@link Object#hashCode()}. */
public class HashPartitioner<K, V> extends Partitioner<K, V> {

  /** Use {@link Object#hashCode()} to partition. */
  public int getPartition(K key, V value,int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }

}

实现原始是根据key的hashCode来和numReduceTasks取模得到分区的，所以分区依赖于具体的key。具体的自定义见4.1.3节的SalaryPartitioner.java实现这里不多举例子了。另外一个非常有用的特性就是Combiner，关于combiner有两点需要注意的。

第一，与mapper和reducer不同的是，combiner没有默认的实现，需要显式的设置在conf中才有作用。

第二，并不是所有的job都适用combiner，只有操作满足结合律的才可设置combiner。combine操作类似于：opt(opt(1, 2, 3), opt(4, 5, 6))。如果opt为求和、求最大值，求最小值的话，可以使用，但是如果是求中值的话，不适用。

combine其本质是reduce,只是执行的阶段不同。使用Combiner的原因，因为map输出的记录需要shuffle和跨机器网络传输，如果使用Combiner可以在Map端先对单个map输出的数据进行一个局部的聚合，可以减少网络传输的数据量，从而提高性能。

下面我们实现一个word count的combiner,主要就是对map端输出的word进行统计，代码如下：

public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWritable>{
       @Override
       protected void reduce(Text key, Iterable<IntWritable> values， Context context)
throws IOException, InterruptedException {
              int count = 0;
              for(IntWritable v :values){ 
                   //对同一个map输出的k,v对进行按k进行一次汇总。不同map的k,v汇总必须要用reduce方法
                    count += v.get();
              }
              context.write(key, new IntWritable(count));
       }
}

在job定义中配置：

job.setCombinerClass(WordcountCombiner.class);

最终可以达到Map端聚合的效果，提高性能。

1.3 自定义输出RecordeWriter

我们有时也会对Reducer输出的自定义，比如需要把数据写入第三方的数据库，这个时候需要自定义MapReducer输出，这个功能也是经常使用的。

首先要定义一个OutputFormat需要实现三个方法：

RecordWriter  getRecordWriter(TaskAttemptContext context);

void  checkOutputSpecs(JobContext context);

OutputCommitter  getOutputCommitter(TaskAttemptContext context);

1.getRecordWriter

用于返回一个RecordWriter的实例，Reduce任务在执行的时候就是利用这个实例来输出Key/Value的。（如果Job不需要Reduce，那么Map任务会直接使用这个实例来进行输出。

2. heckOutputSpecs

在JobClient提交Job之前被调用的（在使用InputFomat进行输入数据划分之前），用于检测Job的输出路径。比如，FileOutputFormat通过这个方法来确认在Job开始之前，Job的Output路径并不存在，然后该方法又会重新创建这个Output 路径。这样一来，就能确保Job结束后，Output路径下的东西就是且仅是该Job输出的。

3.getOutputCommitter

用于返回一个OutputCommitter的实例。OutputCommitter用于控制Job的输出环境，它有下面几个方法：

void  setupJob(JobContext jobContext);

void  commitJob(JobContext jobContext);

void  abortJob(JobContext jobContext, JobStatus.State state);

void  setupTask(TaskAttemptContext taskContext);

boolean  needsTaskCommit(TaskAttemptContext taskContext);

void  commitTask(TaskAttemptContext taskContext);

void  abortTask(TaskAttemptContext taskContext);

其中每个方法的功能如下：

  1. setupJob －   mkdir  ${mapred.output.dir}/_temporary
  2. commitJob － touch  ${mapred.output.dir}/_SUCCESS && rm  -r  ${mapred.output.dir}/_temporary
  3. abortJob －   rm  -r  ${mapred.output.dir}/_temporary
  4. setupTask － <nothing>
  5. needsTaskCommit － test -d ${mapred.output.dir}/_temporary/_${TaskAttemptID}
  6. commitTask － mv ${mapred.output.dir}/_temporary/_${TaskAttemptID}/* ${mapred.output.dir}/
  7. abortTask －   rm  -r  ${mapred.output.dir}/_temporary/_${TaskAttemptID}

自定义OutputFormat代码如下：

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class DBOutputFormat extends OutputFormat<Text, Text> {

    @Override
    public RecordWriter<Text, Text> getRecordWriter(TaskAttemptContext taskAttemptContext)
            throws IOException, InterruptedException {
        return new SqlRecordWriter();
    }

    @Override
    public void checkOutputSpecs(JobContext jobContext)
            throws IOException, InterruptedException {
    }

    @Override
    public OutputCommitter getOutputCommitter(TaskAttemptContext context)
            throws IOException, InterruptedException {
        // 文件committer 
        return new FileOutputCommitter (FileOutputFormat.getOutputPath(context), context);
    }
}

SqlRecordWriter自定义实现，最主要的就是write()方法，在这个方法中，我们可以把自己的输出逻辑放到这个方法内，另外就是close()方法主要用于一些善后操作。具体的代码如下：

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;

import java.io.IOException;
import java.sql.SQLException;

public class SqlRecordWriter extends RecordWriter<Text, Text> {

    @Override
    public void write(Text key, Text value) throws IOException, InterruptedException {
        String data=key.toString();
        String  num=value.toString();
        Dao dao=new Dao();
        try {
            // 把结果输出到mysql中
            dao.insertData(data, num);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public void close(TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {
        //关闭数据库连接
    }
}

job定义中设置自定义的OutputFormat

job.setOutputFormatClass(DBOutputFormat.class);

 

转载于:https://my.oschina.net/manmao/blog/1935470

weixin_34269583
关注
hadoop的组件mr
weixin_44273391的博客
09-20 340
mr整体流程 maptask 调用FileInputFormat的createRecordReader(底层lineRecordReader)读取分片数据 每行数据读取一次，返回一个(K,V)对，K是offset,V是一行数据 将k-v对交给maptask处理 每对k-v调用一次map(K,V，context)方法，然后context.write(k,v) 写出的数据交给收集器OutputCo...
MapReduce的自定义组件案例总结
Mark的博客
05-23 204
MapReduce的自定义组件案例总结 需要的依赖： （其中需要用到两个maven打包插件，便于将项目打成jar包发布到hadoop集群上运行） <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <ar...
Eclipse中使用Hadoop插件编写Map/Reduce程序
weixin_33916256的博客
05-14 410
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop自定义组件Combiner
筱白熊
03-19 324
Hadoop自定义组件Combiner Combiner组件介绍 Combiner是一个特殊的Reduce组件 ,它处于Mapper和Reduce中间的一种组件,Combiner组件的父类就是Reducer. Combiner和Reducer之间的区别在于运行的位置 ,Reducer是每一个接收全局的Map Task 所输出的结果,Combiner一般是在MapTask的节点中运行. combiner 每一个map都会产生大量的本地输出，Combiner的作用就是对map输出的结果先做一次合并，以较少的m
Hadoop自定义分区
筱白熊
03-19 522
Hadoop自定义分区 Hadoop组件partition简介 partition的作用是将mapper输出的key/value划分成不同的partition。每个reducer对应一个partition。 默认情况下，partitioner先计算key的散列值（hash值）。然后通过reducer个数执行取模运算： key.hashCode%(reducer个数)。这样能够随机地将整个key空间平均分发给每个reducer,同时也能确保不同 mapper产生的相同key能被分发到同一个reducer。
Hadoop 功能组件入门
scofild950303的博客
02-13 699
Hadoop(英译: 大数据分析/云计算/分布式计算) 框架图,借助Hadoop框架及云计算核心技术MapReduce来实现数据的计算和存储，并且将HDFS分布式文件系统和HBASE分布式数据库很好地融入到云计算框架中，从而实现了云计算的分布式、并行计算和存储，并且得以实现很好的处理大规模数据的能力。
Hadoop 自定义OutPutFormat 输出
蒯厅博客
10-26 424
自定义outputformat 案例练习代码实现思路(作用在Reduce之后）： 根据需求，我们要将一个输入文件中的包含 hadoop 单词的数据放在一个输出文件中， 不包含hadoop单词的数据放在另外一个输出文件中 首先需要在mapper中，将读取的kv不做任何处理，直接写出 然后自定义outputformat的实现类，在recordwriter方法中返回一个我们自定义的 recordwriter类，这个类需要继承recordwriter 在自定义的recordwriter中，先定义两个输出流 FSD
Hadoop自定义分组排序
筱白熊
03-19 319
Hadoop自定义分组排序 使用场景 分组聚合 统计查询 众数 平均数 最大值 最小值 极值 方差 标准差 实现步骤 分组 继承WritableComparator接口 重写compare（）方法 必须重写父类的构造器，并且传入当前分组排序对象 排序 Java Bean实现WritableComparable接口 重写compareTo()方法 案例 案例分析 ​ 订单Id相同则视为同一个订单，分组聚合后计算每个订单的总金额。继承WritableComparator接口，重写compare
Hadoop自定义outputformat输出文件格式
changshupx的博客
08-27 906
OutputFormat的使用场景： 为了实现控制最终文件的输出路径和输出格式,可以自定义OutputFormat。 　　　　例如:要在一个MapReducer程序中根据数据的不同输出结果到不同目录,这类灵活的输出要求可以通过自定义OutputFormat来实现。 　　自定义OutputFormat大致步骤: 　（1）自定义一个类继承FileOutputFormat; 　（2）改写RecordWriter,具体改写输出数据的write()方法。 　测试数据: 　 1). 实体类: package com.r
hadoop各组件详解
热门推荐
L00918的博客
11-05 2万+
一、Hadoop三大组件 1.HDFS 分布式文件系统 2.MapReduce 分布式离线计算框架 ​3.Yarn 资源调度 1.HDFS 管理者：NameNode 1）作用 1.管理整个文件系统的元数据/名字空间/目录树 2.管理每一个路径/文件所对应的block块信息 3.管理DataNode的心跳日志 2）NameNode元数据持久化的2种形式 1.E...
Hadoop 自定义 Partitioner 源代码
03-12
其中，Partitioner 是 Hadoop MapReduce 框架中的关键组件，它负责决定 map 函数产生的中间键值对（key-value pairs）应被哪些 reduce task 处理。自定义 Partitioner 允许用户根据业务需求定制键的分发策略，从而...
Hadoop各组件详解（Hive篇）
01-07
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）； 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将...
Hadoop自定义分区Partitioner
lavimer
01-17 3579
一：背景 为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二
【运维监控】Prometheus+grafana监控zookeeper运行情况
alanchanchn的专栏
09-11 910
通过zookeeper自带的监控信息暴露出来，然后将数据收集到prometheus中，最后通过grafana的dashboard导入模板进行可视化
大数据之Flink（二）
wslzoooo的博客
09-07 1150
JobManager是一个Flink集群任务管理和调度的核心，是控制应用执行的主进程，每个应用都有一JobManager。前面两种模式，代码都在客户端上执行，由客户端提交给JobManager，导致客户端需要占用大量网络带宽，加重客户端所在节点的资源消耗。flink执行过程中，每个算子包含一个或多个子任务，这些子任务在不同的线程、不同的物理机或不同容器中执行。假如一个taskManager有三个slot，就会将管理的内存均分成三份，每个slot独占一份，slot不会去争抢资源。slot的数量是最大并行度。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 955
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
从AI到大数据，数字技术服务平台全栈赋能企业升级
最新发布
smjt2024的博客
09-11 464
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
[Go]通用的 MapReduce 工具函数
fishjam的专栏
09-08 870
在 Go 语言中实现基于泛型的 map-reduce 和纤程池
大数据-127 - Flink State 04篇 状态原理和原理剖析：状态存储 Part2
永远好奇，无限进步！
09-10 1954
在Flink的实际实现中，对于同一种StateBackend，不同的State在运行时会有细分的StateBackend托管，例如：MemoryStateBackend，就有DefaultOperatorStateBackend管理OperatorState，HeapKeyedStateBackend管理KeyedState。JOB_ID是应用的唯一ID，CHECK_POINT_ID 是每次 CheckPoint时自增的数字ID，我们可以从备份的CheckPoint数据恢复当时的作业状态。
Hadoop自定义序列化：Writable接口详解
在Hadoop中，序列化是核心组件之一，因为它允许数据在节点之间以及持久化存储之间有效地流动。Hadoop的序列化机制强调效率，特别是对于大数据处理场景，减少存储空间的占用和提高读写速度至关重要。例如，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值