hadoop
chester_chen24
这个作者很懒,什么都没留下…
展开
-
HADOOP集群搭建
1. 集群简介 Hadoop包括两个集群,hdfs集群和yarn集群 hdfs集群负责数据存储,主要角色有:NameNode,DataNode,SecondaryNameNode yarn集群负责调度管理,主要角色有ResourceManager, NodeManager 两者逻辑上没有必要关联一定要放在一起,但一般放在一起。 2. 环境准备 centOS/VMWare开启三台虚拟机 bigdat...原创 2019-09-25 21:16:49 · 191 阅读 · 0 评论 -
Hadoop mapreduce中自定义排序及自定义分组
一、map自定义排序 哪个字段需要排序,将其设为map输出的key,利用map的排序完成。 如果字段为基本类型且正序排序,则直接设为key,利用map默认排序即可。 如果字段为对象或需要倒序排序,则需利用对象类实现comparable(WritableComparable)接口,重写接口的comparable方法。 二、map自定义分组 需新建分组类,继承WritableComparator类...原创 2019-10-09 16:19:26 · 976 阅读 · 0 评论