hadoop大数据中MapReduce
Nicole-小碎步
这个作者很懒,什么都没留下…
展开
-
Hadoop的I/O接口--自定义排序-电费
按照用电总量进行排序 排序:mapper溢写到磁盘的时候进行排序。map的溢写文件合并的时候也要进行排序,reducer将相同的分区拉取到同一个节点进行合并的时候也要进行排序。 如果想要进行自定义排序,需要实现WritableComplarable接口 官网排序注意点 继承什么就是什么的一个子类,继承了Writable就是已经序列化了 compareTo是进行比较的 如何实现按照sum用电总量进行排序 开发ElectricWritable对象,实现WritableComparable接口 1、定义对象原创 2021-06-17 11:04:36 · 104 阅读 · 0 评论 -
hadoop中MapReduce计算省份出现的次数
省份提取 1、LogMapper.java 2、LogReducer.java 重写reduce方法, 进入到reduce的数据是(山东省,【1,1,1,1,】,(台湾省,【1,1,1,1】)) 其中values就是数组 将取到的值放到sum上 通过intWritable改成int类型 3、每一个key_value对进行一次 4、开发LogApp.java main方法 5、当然也可以放到数据库中,以扇形图等的形式进行展示 ...原创 2021-06-10 14:30:16 · 364 阅读 · 2 评论