Java编写MapReduce的步骤

Mapper

  1. 自定义类继承Mapper类
  2. 重写自定义类中的map方法,在该方法中将K1和V1转为K2和V2
  3. 将生成的K2和V2写入上下文中

二、Reduce

  1. 自定义类继承Reduce类
  2. 重写Reducer中的reduce方法,在该方法中将K2和V2转为K3和V3
  3. 将K3和V3写入上下文中

三、Driver

整个程序需要一个Driver来进行提交,提交的是一个描述了各种必要信息的job对象

  1. 定义类,编写main方法
  2. 在main方法中指定以下内容
    1. 创建一个job任务对象
    2. 指定job所在的jar包
    3. 指定源文件的读取方式类和源文件的读取路径
    4. 指定自定义的Mapper类和K2、V2类型
    5. 指定自定义分区类(如果有的话)
    6. 指定自定义分组类(如果有的话)
    7. 指定自定义的Reducer类和K3、V3的数据类型
    8. 指定输出方式类和结果输出路径
    9. 将job提交到yarn集群
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值