hadoop2.x入门：Hadoop的启动方式

本内容基于hadoop-2.7.2

1. hadoop启动方式
我们执行hadoop安装目录下的sbin/xxx-xxx.sh

#各服务组件逐一启动：
hdfs 
    hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
yarn
    yarn-daemon.sh start|stop resourcemanager|nodemanager
mapreduce
    mr-jobhistory-daemon.sh start|stop historyserver
#各模块分开启动
hdfs
    start-dfs.sh|stop-dfs.sh
yarn
    yarn-dfs.sh|yarn-dfs.sh
#全部启动
start-all.sh|stop-all.sh

初始学习阶段可以使用start-all.sh启动全部。

2. 通过web了解Hadoop的运行活动
注意：是hadoop2.x，因为hadoop2.x和hadoop1.x配置和默认端口不一样

• 通过用浏览器和http访问jobtracker所在节点的8088端口监控jobtracker
• 通过用浏览器和http访问namenode所在节点的50070端口监控集群

例如：http://master:8088

3. 常用端口

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。

这里包含我们使用到的组件：HDFS, YARN

组件	节点	默认端口	配置	用途说明
HDFS	DataNode	50010	dfs.datanode.address	datanode服务端口，用于数据传输
HDFS	DataNode	50075	dfs.datanode.http.address	http服务的端口
HDFS	DataNode	50475	dfs.datanode.https.address	https服务的端口
HDFS	NameNode	50070	dfs.namenode.http-address	http服务的端口
HDFS	NameNode	50470	dfs.namenode.https-address	https服务的端口
HDFS	NameNode	8020	fs.defaultFS	接收Client连接的RPC端口，用于获取文件系统metadata信息。
HDFS	journalnode	8485	dfs.journalnode.rpc-address	RPC服务
HDFS	journalnode	8480	dfs.journalnode.http-address	HTTP服务
YARN	ResourceManager	8032	yarn.resourcemanager.address	RM的applications manager(ASM)端口
YARN	ResourceManager	8030	yarn.resourcemanager.scheduler.address	scheduler组件的IPC端口
YARN	ResourceManager	8031	yarn.resourcemanager.resource-tracker.address	IPC
YARN	ResourceManager	8033	yarn.resourcemanager.admin.address	IPC
YARN	ResourceManager	8088	yarn.resourcemanager.webapp.address	http服务端口
YARN	NodeManager	8040	yarn.nodemanager.localizer.address	localizer IPC
YARN	NodeManager	8042	yarn.nodemanager.webapp.address	http服务端口
YARN	NodeManager	8041	yarn.nodemanager.address	NM中container manager的端口
YARN	JobHistory Server	10020	mapreduce.jobhistory.address	IPC
YARN	JobHistory Server	19888	mapreduce.jobhistory.webapp.address	http服务端口

4.参考资料
hadoop2.x常用端口及定义方法