补充MapReduce编程模型及JAVA简单实现WordCount

MapRedu编程模型

MR编程模型:
    1、map的输出就是reduce的输入。

    2、所有的输入和输出都是键值对形式:
        <k1,v1>:map输入,来自hdfs,k1为每行数据偏移量,v1为该行数据
        <k2,v2>:map输出
        <k3,v3>:reduce输入,k2==k3,v3是集合,元素为v2
        <k4,v4>:reduce输出,输出到hdfs,k4==k3,v4为v3内部所有元素算术和

    3、在MapReduce的编程中,所有键值对的数据类型都必须是hadoop的数据类型
        java类型            hadoop类型
        String                Text
        int                   IntWritable
        long                  LongWritable
        double                Doubleable
        null                  Nullable

    4、所有的hadoop数据类型均实现了hadoop的序列化,即类的对象可以作为map和reduce的输入输出。
       java序列化:类的对象可以作为输入输出的对象。  
      
    5、一个mapreduce程序至少有三个类:Mapper子类,Reducer子类,主程序类。

    6、如果一个类的对象要作为map和reduce的输入输出,则该类必须实现Writable接口,如果这个对象还
       要排序的话,则可以实现WritableComparable接口。

    7、如果要写分区类ÿ
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二百四十九先森

你的打赏是我努力的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值